WO2019078248A1 - 制御装置、制御システム、および制御プログラム - Google Patents

制御装置、制御システム、および制御プログラム Download PDF

Info

Publication number
WO2019078248A1
WO2019078248A1 PCT/JP2018/038651 JP2018038651W WO2019078248A1 WO 2019078248 A1 WO2019078248 A1 WO 2019078248A1 JP 2018038651 W JP2018038651 W JP 2018038651W WO 2019078248 A1 WO2019078248 A1 WO 2019078248A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
area
gaze
audience
subject
Prior art date
Application number
PCT/JP2018/038651
Other languages
English (en)
French (fr)
Inventor
洋介 大坪
聡志 高橋
侑也 ▲高▼山
和広 阿部
秀雄 宝珠山
真利恵 正田
翔 曽宮
哲也 小池
直也 大谷
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to EP18867732.2A priority Critical patent/EP3713211B1/en
Priority to JP2019549317A priority patent/JP7375542B2/ja
Priority to US16/756,882 priority patent/US11575825B2/en
Publication of WO2019078248A1 publication Critical patent/WO2019078248A1/ja
Priority to US18/093,118 priority patent/US20230164424A1/en
Priority to JP2023184234A priority patent/JP2024001268A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present invention relates to a control device, a control system, and a control program.
  • Patent Document 1 discloses an automatic camera control system, an automatic camera control method, an automatic camera control device, and a program, which are used for shooting sports competitions and the like.
  • the camera for competition imaging is switched by the switch instruction from the operator. That is, since switching of a television broadcast camera is still performed under the direction of a director called a director, automation of switching is not considered.
  • the control device includes a plurality of first cameras for photographing a first subject in a first area in a facility, and a plurality for photographing a second subject in a second area in the facility.
  • a gaze area in the second area of the audience group based on a detection unit that detects the gaze direction of the audience group; and the gaze direction of the audience group detected by the detection unit;
  • Said A determination unit that determines a specific second camera to be a transmission source of video data from the second cameras of the above, and a transmission unit that transmits video data from the specific second camera determined by the determination unit; Have.
  • the control device includes a first camera that captures a first subject in a first area in a facility, and a second camera that captures a second subject in a second area in the facility.
  • a control unit capable of accessing a camera, wherein the detection unit detects a line-of-sight direction of a group of spectators in the first subject based on video data of the first subject captured by the first camera;
  • a second identification unit that identifies a gaze area in the second region of the audience group based on the gaze direction of the audience group detected by the detection unit; and the second camera based on the identification result of the identification unit
  • a control unit that controls the imaging of the image.
  • a control system includes a plurality of first cameras for photographing a first subject in a first area in a facility, and a plurality for photographing a second subject in a second area in the facility.
  • a control system having a second camera, the plurality of first cameras, and a control device accessible to the plurality of second cameras, wherein the control device is any of the plurality of first cameras.
  • a gaze area in the second area of the spectator group is identified based on a direction, and the gaze area is present in the gaze area based on video data of a second object photographed by each of the plurality of second cameras.
  • Previous A determination is made to determine, from among the plurality of second cameras, a specific second camera as a transmission source of video data, based on the specification unit specifying the gaze target of the audience group and the gaze target specified by the specification unit
  • a transmitter configured to transmit video data from the specific second camera determined by the determination unit.
  • a control program includes a plurality of first cameras for photographing a first subject in a first area in a facility, and a plurality of pictures for photographing a second subject in a second area in the facility.
  • the gaze area in the second area of the audience group is specified based on the detection process of detecting the gaze direction of the viewer and the gaze direction of the audience group detected by the detection process, and the second camera of the plurality of second cameras
  • a control program includes a first camera for photographing a first subject in a first area in a facility, and a second camera for photographing a second subject in a second area in the facility.
  • FIG. 1 is an explanatory view showing a configuration example of a control system.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the control device.
  • FIG. 3 is a block diagram showing a functional configuration example of the control device.
  • FIG. 4 is an explanatory view showing an example of an audience group photographed by an audience camera.
  • FIG. 5 is an explanatory view showing an example 1 of the dynamic gaze direction sensitivity of the audience.
  • FIG. 6 is an explanatory view showing a sensitivity example 2 of the dynamic gaze direction of the audience.
  • FIG. 7 is an explanatory view showing a sensitivity example 3 of the dynamic gaze direction of the audience.
  • FIG. 8 is an explanatory view showing an example of detection of the sight line direction of the audience group.
  • FIG. 1 is an explanatory view showing a configuration example of a control system.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the control device.
  • FIG. 3 is a block diagram showing a functional configuration example of
  • FIG. 9 is an explanatory view showing an example of detection of a motion vector due to a change in position of the ear.
  • FIG. 10 is an explanatory view showing an example of detection of the gaze direction of a specific spectator.
  • FIG. 11 is an explanatory diagram of a first identification example of the gaze area and the gaze target by the identification unit.
  • FIG. 12 is an explanatory diagram of a second example of the gaze area and the gaze target specified by the identification unit.
  • FIG. 13 is an explanatory view showing an example of calculation of the area of the gaze area.
  • FIG. 14 is a flowchart illustrating an example of control processing procedure by the control device.
  • FIG. 15 is a flowchart showing a detailed process procedure example 1 of the first audience camera selection process (step S1401) by the selection unit shown in FIG. FIG.
  • FIG. 16 is a flowchart of a second process procedure example 2 of the first audience camera selection process (step S1401) by the selection unit illustrated in FIG.
  • FIG. 17 is a flowchart showing a detailed process procedure example 1 of the second audience camera selection process (step S1504) shown in FIG.
  • FIG. 18 is an explanatory view showing a detailed process procedure example 2 of the second audience camera selection process (step S1504) shown in FIG.
  • FIG. 19 is a flowchart showing a second process procedure example 2 of the second audience camera selection process (step S1504) shown in FIG.
  • FIG. 20 is a flowchart showing a detailed processing procedure example of the identification processing (step S1403) shown in FIG.
  • FIG. 21 is an explanatory view of an automatic shutter function of the field camera.
  • FIG. 22 is an explanatory view showing an application example to marketing.
  • FIG. 1 is an explanatory view showing a configuration example of a control system.
  • the control system 1 of the present embodiment is a system for automatically switching a scene of video data broadcasted on a television or the Internet in accordance with the line of sight from the audience.
  • the control system 1 is, for example, a system implemented in a facility.
  • a facility is a structure or place for a spectator to look at a gaze object, and specifically includes, for example, a stadium, an arena, an event hall, a gymnasium, a stadium, a stadium, a swimming pool, a performance hall, and a theme park.
  • a soccer stadium 100 will be described as an example.
  • the facility has a first area in which the audience is present and a second area in which the gaze target is present.
  • the first area is the spectator seat 101
  • the second area is the field 102.
  • the gaze target is a person or a thing that a spectator gazes at, for example, in the case of soccer, a player or a director or an umpire in the case of a person, or a ball in the case of a thing.
  • the control system 1 includes a plurality of audience cameras AC, a plurality of field cameras FC, a control device 110, and a database.
  • the audience camera AC is a camera that shoots a moving image with the audience seat 101, which is the first area, as a subject.
  • the field camera FC is a camera that shoots a moving image with the field 102 of the stadium 100 as a subject.
  • the field camera FC may track the subject automatically, or may be operated by the photographer.
  • Video data from the audience camera AC and the field camera FC is transmitted to the control device 110.
  • the video data of the field camera FC is distributed to the television 103 of a general home via the radio tower or to the personal computer 104 (including a smartphone and a tablet) via the Internet.
  • the control device 110 is a computer capable of communicating with the plurality of spectator cameras AC, the plurality of field cameras FC, and the database 120.
  • the database 120 stores audience seat information 121, field information 122, audience camera information 123, and field camera information 124 as design information on facilities.
  • the database 120 also stores player information 125 and characteristic person information 126.
  • the database 120 may be provided outside the control system 1 if accessible from the control device 110.
  • the audience seat information 121 is information indicating the three-dimensional position of the audience seat 101 in the facility in the local coordinate system 10 composed of orthogonal X, Y, and Z axes.
  • the plane formed by the X and Y axes is a plane parallel to the field 102, and the Z axis indicates the height from the field 102.
  • the field information 122 is information indicating the three-dimensional position of the field 102 in the facility.
  • the audience camera information 123 is information indicating the three-dimensional position of the audience camera AC in the facility and the imaging condition.
  • the imaging conditions are, for example, the imaging direction, the angle of view, and the magnification.
  • the field camera information 124 is information indicating the three-dimensional position of the field camera FC in the facility and the imaging condition.
  • the player information 125 is information indicating the color, pattern, and model number of the team or uniform to which the player belongs. It may also include player face image data.
  • Characteristic person information 126 is information indicating a characteristic person, and specifically includes, for example, face image data of the person and image data of clothes.
  • the field camera FC shoots a player or a ball on the field 102 to acquire video data.
  • the spectator camera AC shoots the spectators of the spectator seat 101 and acquires video data.
  • the field camera FC transmits the acquired video data to the control device 110.
  • the audience camera AC transmits the acquired video data to the control device 110.
  • the control device 110 specifies an area (hereinafter referred to as a gaze area) of the field 102 at which the audience group is gazing using the acquired video data, and selects a gaze target (player or ball) existing in the gaze area. , And refers to the database 120 for identification.
  • the control device 110 determines a field camera FC for photographing the identified gaze target from the plurality of field cameras FC. Specifically, for example, whether the positional relationship or distance between the gaze area and the field camera FC, the continuous broadcast time of the same field camera FC has exceeded a threshold, or the controller 110 can recognize the player's face
  • the optimum field camera FC to be switched to is determined based on criteria such as whether or not it is not.
  • the video data from the determined field camera FC is broadcast or distributed to the television 103 and the personal computer 104. Therefore, the switching of the field camera FC can be automated (real time control).
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the control device 110.
  • the control device 110 includes a processor 201, a storage device 202, an input device 203, an output device 204, and a communication interface (communication IF) 205.
  • the processor 201, the storage device 202, the input device 203, the output device 204, and the communication IF 205 are connected by a bus 206.
  • the processor 201 controls the control device 110.
  • the storage device 202 is a work area of the processor 201. Also, the storage device 202 is a non-temporary or temporary storage medium that stores various programs and data. Examples of the storage device 202 include a read only memory (ROM), a random access memory (RAM), a hard disk drive (HDD), and a flash memory.
  • ROM read only memory
  • RAM random access memory
  • HDD hard disk drive
  • flash memory flash memory
  • the input device 203 inputs data. Examples of the input device 203 include a keyboard, a mouse, a touch panel, a ten key, and a scanner.
  • the output device 204 outputs data. Examples of the output device 204 include a display and a printer.
  • the communication IF 205 receives video data from the audience camera group ACs and the field camera group FCs.
  • the communication IF 205 is also connected to the Internet 200 and the radio tower 210, and transmits video data received from the audience camera group ACs and the field camera group FCs to the personal computer 104 and the television 103.
  • FIG. 3 is a block diagram showing a functional configuration example of the control device 110.
  • the control device 110 includes a detection unit 301, a specification unit 302, a determination unit 303, a transmission unit 304, and a selection unit 305. More specifically, for example, the detection unit 301 to the selection unit 305 are functions realized by causing the processor 201 to execute the program stored in the storage device 202 illustrated in FIG.
  • the detection unit 301 detects the line-of-sight direction of the audience group in the first subject based on the video data of the first subject captured by one of the audience camera groups ACs.
  • the gaze direction of the audience group is the direction indicated by the composite vector of the gaze direction of each spectator in the audience group.
  • the detection unit 301 detects the gaze direction by detecting the position of the iris in the eye area from the video data in which the audience is shown.
  • the detection unit 301 may also detect the gaze direction of the spectator based on the direction of the face of the spectator.
  • the identifying unit 302 identifies a gaze area in the second region of the audience group based on the gaze direction of the audience group detected by the detection unit 301. Specifically, for example, the identification unit 302 identifies a gaze area on the field 102 that is ahead of the gaze direction of the audience group from the audience seat information 121 and the field information 122 of the database 120. That is, the area of the field 102 ahead of the gaze direction starting from the position of the audience seat 101 of the audience group is set as the gaze area.
  • the gaze area is an area including a point at which the extension line of the gaze direction intersects the field 102.
  • the identifying unit 302 identifies the gaze target of the spectator group present in the gaze area based on the video data of the second subject captured by each field camera FC of the field camera group FCs. Specifically, for example, the specifying unit 302 specifies a gaze target on the gaze area photographed by the field camera FC from the video data of the field camera FC.
  • control device 110 directly specifies a gaze target existing on an extension of the line-of-sight direction of the audience group, using the video data from this audience camera AC.
  • the determination unit 303 determines a specific field camera FC as a transmission source of the video data from among the field camera group FCs based on the gaze target specified by the specification unit 302. Specifically, for example, the determination unit 303 determines whether or not the positional relationship or distance between the gaze area and the field camera FC, the continuous broadcast time of the same field camera FC exceeds a threshold, and can recognize the player's face. The optimum field camera FC to be switched to is determined based on criteria such as whether or not it is not.
  • the video data from the determined field camera FC is broadcast or distributed to the television 103 and the personal computer 104. Therefore, the switching of the field camera FC can be automated.
  • the transmitting unit 304 transmits the video data from the specific field camera FC determined by the determining unit 303. Specifically, for example, the transmission unit 304 uses a communication IF to set a specific field to the television 103 of a general home via the radio tower 210 or to the personal computer 104 (including a smartphone and a tablet) via the Internet 200. Send video data from the camera FC.
  • the selection unit 305 selects a specific audience camera AC from the audience camera group ACs prior to detection of the gaze direction. Specifically, for example, the selection unit 305 identifies from among the plurality of audience cameras AC based on the score indicating the number of the audience group in the first subject photographed by each of the plurality of audience cameras AC. Select the audience camera AC.
  • the score indicates the number of people in the audience group, and specifically, for example, the ratio of the image data of the audience to the area in one frame of the video data, that is, the density. The higher the score, the more spectators.
  • the selection of the audience camera AC by the selection unit 305 is for the detection unit 301 to detect the line-of-sight direction of a large number of audience groups. Therefore, it is assumed that the photographing condition of the audience camera AC is set so that the predetermined number or more of the audience seats 101 can fit in the angle of view of the audience camera AC as the first subject.
  • the detection unit 301 detects the line-of-sight direction of the audience group in the first subject based on the video data of the first subject taken by the audience camera AC selected by the selection unit 305.
  • the selection unit 305 also selects a specific audience camera AC based on the positional relationship between the audience group and the gaze area. Specifically, for example, the selection unit 305 selects, among the plurality of audience cameras AC, a audience camera AC that captures a group of audiences near the gaze area as a specific audience camera AC. Details of the selection will be described later with reference to FIGS. 4 to 6.
  • the selection unit 305 selects a spectator camera AC whose score is equal to or higher than a predetermined threshold value as a specific spectator camera AC.
  • the selection unit 305 may select a spectator camera AC having a score that is absolutely high among the plurality of spectator cameras AC, that is, the score is equal to or higher than a threshold.
  • the selection unit 305 may select the audience camera AC with the highest score. In addition, it may be limited to the audience camera AC which satisfies the condition as a specific audience camera AC in the positional relationship between the audience seat 101 and the gaze area described above.
  • the selection unit 305 selects the audience camera AC having a relatively high score among the scores of the plurality of audience cameras AC as a specific audience camera AC. As the audience camera AC with a high score captures more audiences, it is more suitable for detecting the gaze direction of the audience group. Therefore, the selection unit 305 may select the audience camera AC having a relatively high score among the plurality of audience cameras AC.
  • the selection unit 305 may select the spectator camera AC having the highest score among them. In addition, it may be limited to the audience camera AC which satisfies the condition as a specific audience camera AC in the positional relationship between the audience seat 101 and the gaze area described above.
  • the selection unit 305 may select a spectator camera AC whose score is less than a predetermined threshold value as a specific spectator camera AC.
  • the audience camera AC with a high score shoots more audiences, so it is suitable for detecting the gaze direction of the audience group, but if there is no score above the threshold, the score below the threshold The audience camera AC of is selected. If there are a plurality of audience cameras AC whose score is less than a predetermined threshold, the selection unit 305 may select the audience camera AC with the highest score.
  • the selection unit 305 may normally select the audience camera AC whose score is equal to or higher than a threshold and select the audience camera AC whose score is lower than the threshold randomly or periodically. Thereby, the field camera FC can be switched to a scene where, for example, the majority misses, in consideration of the direction of the minority's gaze.
  • the selection unit 305 selects the audience camera AC having a relatively low score among the scores of the plurality of audience cameras AC as a specific audience camera AC.
  • the selection unit 305 may select the spectator camera AC having the lowest score among them.
  • it may be limited to the audience camera AC which satisfies the condition as a specific audience camera AC in the positional relationship between the audience seat 101 and the gaze area described above.
  • the selection unit 305 may normally select the audience camera AC having the lowest score, and may select the audience camera AC having a relatively low score randomly or periodically. Thereby, the field camera FC can be switched to a scene where, for example, the majority misses, in consideration of the direction of the minority's gaze.
  • the detection unit 301 when the audience camera AC whose score is lower than the threshold or relatively low is selected as the specific audience camera AC, the detection unit 301 is not the line-of-sight direction of the audience group photographed by the specific audience camera AC The gaze direction of a particular spectator among them may be detected. If the score is below the threshold or is relatively low, the line of sight of the audience group may not be the direction that one wants to focus on as a whole as the audience number is small. Therefore, in such a case, the detection unit 301 narrows down the audience group by noise removal.
  • noise is an spectator who is taking a non-gaze action like an spectator pointing in the direction of the electronic bulletin board during eating and drinking (all are facing down) during the operation of the smartphone.
  • the detection unit 301 removes the audience of such gaze direction, and detects the gaze direction of a specific audience from the remaining audience group. Further, the detection unit 301 may select a characteristic person as a specific spectator with reference to the database 120 and detect the gaze direction.
  • the detection unit 301 determines the shooting direction of the specific field camera FC determined by the determination unit 303, The gaze direction of a specific audience may be detected based on the gaze direction of each of a specific audience group.
  • the detection unit 301 may detect the gaze direction of each spectator of the audience group located in the opposite direction to the shooting direction, and may detect the gaze direction of a specific spectator among them.
  • the gaze direction of a specific spectator in this case may be the same direction as the shooting direction or an approximate direction within the tolerance. As a result, it is possible to provide an image in which the viewer of the television 103 and the audience pay attention to each other.
  • the gaze direction of a specific spectator may be a direction out of the imaging direction and the allowable range. As a result, the field camera FC can be switched to a gaze target that the viewer of the television 103 can not gaze at.
  • control device 110 may switch to the field camera FC that is photographing the image data most similar to the past broadcast data among the field camera group FCs. At this time, the control device 110 detects a vector connecting the audience camera AC and the subject as a gaze direction of the audience. Based on this gaze direction detection, detection accuracy can be improved.
  • the transmitting unit 304 transmits the still image data captured by the field camera FC to the communication terminal 300 (for example, a smartphone) of the spectator A of at least one spectator group among the spectators who are the switching sources of the field camera FC.
  • the control device 110 stores address information (for example, an e-mail address) of the communication terminal 300 of the spectator in a database.
  • the still image data may be data taken as a still image by the field camera FC, or may be data extracted from video data.
  • the transmitting unit 304 may transmit, to the communication terminal 300, not the still image data itself but access information (for example, a URL) indicating the storage destination of the still image data.
  • access information for example, a URL
  • the transmitting unit 304 may transmit, to the communication terminal 300, not the still image data itself but access information (for example, a URL) indicating the storage destination of the still image data.
  • control device 110 switches the plurality of field cameras FC
  • the gaze target in the gaze area R or the gaze area R using video data of one or more audience cameras AC To control one field camera FC.
  • the control unit that controls the field camera FC executes, for example, control to direct the field camera FC in the direction of the identified gaze area R or the gaze target in the identified gaze area R.
  • FIG. 4 is an explanatory view showing an example of an audience group photographed by the audience camera AC.
  • the audience cameras AC1 and AC2 have the same shooting conditions.
  • the audience camera AC1 captures the audience group 401 of the audience seat 101
  • the audience camera AC2 captures the audience group 402 of the audience seat 101.
  • the number of people in the audience groups 401 and 402 is specified by calculating the score in the selection unit 305 described above.
  • the score of the audience group 401 is equal to or higher than the threshold value, and the detection unit 301 detects the composite vector of the gaze direction vector of each audience of the audience group 401 It detects as a gaze direction. Also, the score of the audience group 402 is lower than the threshold value or relatively low, and the detection unit 301 detects the gaze direction of a specific audience of the audience group 401.
  • the audience seat 101 is installed around the field 102.
  • the control device 110 is difficult to track the dynamic gaze direction of the audience or the depth side, and the left-right direction or the front side orthogonal to the gaze direction. It is easy to track Express the ease of tracking the direction of sight as sensitivity. Therefore, the sensitivity is poor for tracking the dynamic gaze direction and depth side of the audience, and the sensitivity is good for tracking in the lateral direction and the near side orthogonal to the gaze direction.
  • FIGS. 5 to 7 although a single spectator is described as an example, the same applies to a spectator group which is a set of a plurality of spectators.
  • FIG. 5 is an explanatory view showing an example 1 of the dynamic gaze direction sensitivity of the audience.
  • the audience 500A is located in the audience seat 101A
  • the audience 500B is located in the audience seat 101B.
  • the audience seat 101A faces the audience seat 101B.
  • areas in which the player P moves in the X direction are referred to as areas 102A and 102B.
  • the area 102A is an area closer to the spectator seat 101A than the spectator seat 101B
  • the area 102B is an area closer to the spectator seat 101B than the spectator seat 101A.
  • the maximum viewing angle of the audience 500A when the player P is in the area 102A is ⁇ A
  • the maximum viewing angle of the audience 500A when the player P is in the area 102B is ⁇ B ( ⁇ A) . Therefore, when the player P is in the area 102A rather than the area 102B, the audience 500A can easily obtain the difference in the line of sight due to the movement of the player P in the X direction. Thereby, the detection unit 301 can detect the gaze direction of the audience 500A with high sensitivity.
  • the detection unit 301 can detect the gaze direction of the audience 500A with high sensitivity. Further, it is difficult for both of the spectators 500A and 500B to obtain the difference in the sight line direction due to the movement of the player P in the Y direction. That is, the detection sensitivity of the gaze direction is worse than the X direction.
  • selection unit 305 when player P is in area 102A, selection unit 305 preferably selects audience camera AC-A that captures audience seat 101A, and when player P is in area 102B, selection unit 305 is a audience seat. It is preferable to select the audience camera AC-B that shoots 101B.
  • FIG. 6 is an explanatory view showing a sensitivity example 2 of the dynamic gaze direction of the audience.
  • the audience 500C is located in the audience seat 101C
  • the audience 500D is located in the audience seat 101D.
  • the audience seat 101C faces the audience seat 101D.
  • areas in which the player P moves in the Y direction are referred to as areas 102C and 102D.
  • the area 102C is an area closer to the audience seat 101C than the audience seat 101D
  • the area 102D is an area closer to the audience seat 101D than the audience seat 101C.
  • the maximum viewing angle of the audience 500C when the player P is in the area 102C is ⁇ C
  • the maximum viewing angle of the audience 500C when the player P is in the area 102D is ⁇ D ( ⁇ C). . Therefore, when the player P is in the area 102C rather than the area 102D, the audience 500C can easily obtain the difference in the line of sight due to the movement of the player P in the Y direction. Thereby, the detection unit 301 can detect the gaze direction of the audience 500C with high sensitivity.
  • the detection unit 301 can detect the gaze direction of the audience 500C with high sensitivity. Further, it is difficult for the audiences 500C and 500D to obtain the difference in the sight line direction due to the movement of the player P in the X direction. That is, the detection sensitivity of the gaze direction is worse than the Y direction.
  • the selection unit 305 when the player P is in the area 102C, the selection unit 305 preferably selects the audience camera AC-C that captures the audience seat 101C, and when the player P is in the area 102D, the selection unit 305 is a audience seat It is preferable to select the audience camera AC-D that shoots 101D.
  • FIG. 7 is an explanatory view showing a sensitivity example 3 of the dynamic gaze direction of the audience.
  • the sensitivity example 3 is an example in which the sensitivity example 1 and the sensitivity example 2 are combined.
  • the overlapping area of area 102A and area 10C is area 102AC
  • the overlapping area of area 102A and area 10D is area 102AD
  • the overlapping area of area 102B and area 10C is area 102BC
  • the overlapping area of area 102B and area 102D Is the area 102 BD.
  • the selection unit 305 When the player P is in the area 102AC, the selection unit 305 preferably selects the audience camera AC-A for capturing the audience seat 101A or the audience camera AC-C for capturing the audience seat 101C. If so, it is preferable that the selection unit 305 select the audience camera AC-A for capturing the audience seat 101A or the audience camera AC-D for capturing the audience seat 101D.
  • FIG. 8 is an explanatory view showing an example of detection of the gaze direction of the audience group 401.
  • the detection unit 301 detects the motion vector mv of each spectator, and generates a combined motion vector MV of each motion vector mv as the gaze direction of the spectator group 401.
  • the detection unit 301 may detect the motion vector mv as the gaze direction by the change of the position of the iris in the eye area of the spectator, and the head of the spectator changes the position of the face part (for example, the ear)
  • the motion vector mv may be detected as the gaze direction.
  • the detection unit 301 may detect the head direction of each spectator to specify the gaze area.
  • the detection unit 301 uses, for example, an existing algorithm for detecting a head and its direction from image data in head direction detection.
  • the detection unit 301 can detect the head direction from the face image by learning the head direction (three degrees of freedom: Yaw, Roll, Pitch) using deep learning.
  • FIG. 9 is an explanatory view showing a detection example of the motion vector mv due to a change in position of the ear.
  • the audience camera AC is an omnidirectional camera
  • distortion occurs at both ends of each frame of the video data, so by enlarging both ends of the frame, the amount of change in the position of the audience's ear becomes large,
  • the detection unit 301 can easily detect the motion vector mv.
  • FIG. 10 is an explanatory view showing an example of detection of the gaze direction of a specific spectator.
  • the selection unit 305 selects a specific spectator because the score indicating the number of spectators 402 is less than or relatively low than the threshold.
  • the spectator A looks at the smartphone 1000 and is therefore excluded as noise.
  • the audience A2 is excluded as noise because the viewing direction is, for example, the direction of the electronic bulletin board.
  • the position of the electric bulletin board can be obtained from the design information of the facility. Therefore, the selection unit 305 selects an arbitrary spectator from among the spectators A3 to A8 as a specific spectator. Further, when there is a spectator who matches the feature person information 126 among the spectators A3 to A8 (for example, the spectator A8), the spectator A8 may be selected as a specific spectator.
  • FIG. 11 is an explanatory diagram of a gaze area and gaze object identification example 1 by the identification unit 302.
  • the virtual plane VS is a plane parallel to the XZ plane.
  • the audience camera AC is located on a virtual plane VS.
  • the identifying unit 302 projects the combined motion vector MV from the virtual plane VS to the field 102 side, and identifies a gaze area R to be an area on the field 102.
  • the specifying unit 302 specifies the field cameras FC-A to FC-D in which the focused region R is being imaged, from the photographing directions PD-A to PD-D of the field cameras FC-A to FC-D.
  • the specifying unit 302 excludes the field camera FC-B in which the shooting direction PD-B does not face the gaze area R.
  • the specifying unit 302 specifies the player P present in the gaze area R as the gaze target from the video data of the field cameras FC-A, FC-C, and FC-D.
  • FIG. 12 is an explanatory diagram of a gaze area and gaze object identification example 2 by the identification unit 302.
  • the specific example of FIG. 12 is an example using the omnidirectional camera 1200 as the audience camera AC.
  • the specification unit 302 can simultaneously specify the gaze area R and the gaze target (player P) of the field 102 indicated by the combined motion vector MV from the video data of the omnidirectional camera 1200.
  • FIG. 13 is an explanatory view showing an example of calculation of the area of the gaze area.
  • the gaze area R is rectangular.
  • the height from the field 102 of the audience A is h
  • the distance to the gaze area R when the audience A is projected on the field 102 is L
  • the two orthogonal sides of the gaze area R
  • x is represented by the following formula (1)
  • y is represented by the following formula (2)
  • ⁇ ⁇ is expressed by the following formula (3)
  • the distance D from the audience A to the gaze area R is expressed by the following formula (4) (However, for yaw angle ⁇ yaw and pitch angle ⁇ pitch, refer to the legend in FIG. 13.) .
  • the specification unit 302 can specify the distance D from the spectator A to the gaze area R and the area S of the gaze area R, and the gaze target on the gaze area R (for example, player P) by the distance D and the area S ) Can be identified.
  • the start position of the synthetic motion vector MV may be set as the position of the spectator A.
  • FIG. 14 is a flowchart illustrating an example of a control processing procedure by the control device 110.
  • the control device 110 is assumed to acquire video data from the audience camera AC and video data from the field camera FC.
  • the control device 110 causes the selection unit 305 to execute the first audience camera selection process to select the audience camera AC for detecting the gaze direction (step S1401).
  • the control device 110 causes the detection unit 301 to analyze the video data from the selected audience camera AC, and detects the gaze direction (step S1402).
  • control unit 110 causes the identification unit 302 to execute identification processing using the detected gaze direction vector to identify the gaze area and the gaze target (step S1403). Then, the control device 110 determines the field camera FC that is shooting the gaze target from the plurality of field cameras FC (step S1404).
  • control unit 110 causes the transmission unit 304 to transmit the determined video data from the field camera FC via the radio tower 210 or the Internet 200 (step S1405). Thereby, it is possible to automatically switch the field camera FC to the gaze target existing in the direction in which the audience group gazes.
  • FIG. 15 is a flowchart showing a first processing procedure example 1 of the first audience camera selection processing (step S1401) by the selection unit 305 shown in FIG.
  • the control device 110 causes the selection unit 305 to calculate a score indicating the number of spectators for each spectator camera AC (step S1501).
  • the control device 110 causes the selection unit 305 to select the audience camera AC based on the calculated score as described above (step S1502).
  • control device 110 selects spectator camera AC having a score equal to or higher than a threshold or a relatively high score.
  • control device 110 probabilistically (for example, 70% probability) spectator camera AC ) May be selected.
  • the control device 110 determines, with the selection unit 305, whether the audience camera AC having a score equal to or higher than the threshold value or a relatively high score is selected (step S1503). If the audience camera AC having a score higher than the threshold value or a relatively high score is selected (step S1503: YES), the process proceeds to step S1402. In this case, the control unit 110 causes the detection unit 301 to detect the synthetic motion vector MV of the audience group 401 as the gaze direction.
  • step S1503 when the audience camera AC having a score higher than the threshold or a relatively high score is not selected (step S1503: No), the control unit 110 causes the selection unit 305 to execute the second audience camera selection process. Then (step S1504), the process proceeds to step S1402.
  • the second audience camera selection process is a process for selecting a specific audience A8 in the audience group 402. In this case, the control unit 110 causes the detection unit 301 to detect the motion vector mv of the specific audience A8 as the gaze direction.
  • FIG. 16 is a flowchart of a second process procedure example 2 of the first audience camera selection process (step S1401) by the selection unit 305 illustrated in FIG.
  • the control unit 110 causes the specifying unit 302 to specify the gaze target identified by the previous identification unit 302 and the gaze area thereof, and is shown in FIGS. 5 to 7 according to the positional relationship between the gaze area identified and each audience camera AC.
  • the audience camera AC is specified (step S1602).
  • a plurality of audience cameras AC may be identified in step S1602. For example, when the player P who is the gaze target is in the area 102AC, audience cameras AC-A and AC-C close to the area 102AC are identified. Thereafter, as shown in FIG. 15, steps S1501 to S1504 are executed for the audience camera AC specified in step S1602. As a result, the spectator camera AC close to the position of the gaze target can be easily selected, and the detection sensitivity of the sight line direction can be improved.
  • FIG. 17 is a flowchart showing a detailed process procedure example 1 of the second audience camera selection process (step S1504) shown in FIG.
  • the control device 110 causes the selection unit 305 to remove noise from the video data of each spectator camera AC (step S1701).
  • the control device 110 causes the selection unit 305 to determine whether or not image data of a characteristic person is present in the video data of each of the spectator cameras AC from which noise has been removed (step S1702).
  • step S1702 If there is a spectator camera AC that has acquired video data having image data of a characteristic person (step S1702: YES), the control unit 110 causes the selection unit 305 to select the spectator camera AC (step S1703) , And proceeds to step S1402. On the other hand, when there is no spectator camera AC that has acquired video data having image data of a characteristic person (step S1702: No), the control unit 110 selects the spectator camera AC having the largest score by the selection unit 305. Then (step S1704), the process proceeds to step S1704.
  • FIG. 18 is an explanatory view showing a detailed process procedure example 2 of the second audience camera selection process (step S1504) shown in FIG. Specifically, for example, the control device 110 causes the selection unit 305 to select the audience A11 gazing at the same scene as the scene viewed by the viewer TA of the television 103 as a specific audience.
  • the scene viewed by the viewer TA of the television 103 is the player P (target of gaze) photographed by a certain field camera FC in the photographing direction PD.
  • the control device 110 identifies the spectator seat 101 in the opposite direction to the shooting direction PD of the field camera FC currently on air, and selects the spectator camera AC that projects the identified spectator seat 101. Then, if the motion vector mv is the same as the shooting direction PD or the angle of the displacement is within the allowable range from the audience group 402 (including the audience A11 and A12) captured by the selected audience camera AC, the audience A11 is identified To choose as a spectator.
  • FIG. 19 is a flowchart showing a second process procedure example 2 of the second audience camera selection process (step S1504) shown in FIG.
  • the control unit 110 causes the selection unit 305 to identify the shooting direction of the field camera FC that has shot the current video data (step S1901), and identifies the audience seat 101 in the reverse direction of the specified shooting direction (step S1902).
  • An audience camera AC capable of capturing the identified audience seat 101 is selected (step S1903).
  • the spectator A11 who is watching the same scene as the scene that the viewer TA of the television 103 is watching can be selected as the specific spectator, and the estimation accuracy of the specific spectator can be improved.
  • FIG. 20 is a flowchart showing a detailed processing procedure example of the identification processing (step S1403) shown in FIG.
  • the control unit 110 causes the specifying unit 302 to specify the gaze area on the field 102 from the gaze direction obtained in step S1402, as shown in FIGS. 11 to 13 (step S2001).
  • the control unit 110 specifies the gaze target (for example, the player P) in the gaze area specified in step S2001 by the specifying unit 302 (step S2002).
  • the control device 110 specifies the gaze target (for example, the player P) in the gaze area specified in step S2001 using the video data of the field camera FC. As a result, it is possible to specify with high precision the gaze target ahead of the gaze direction. Further, in the case of the example of FIG. 12, the control device 110 specifies the gaze target (for example, the player P) in the gaze area identified in step S2001 using the video data of the omnidirectional camera. .
  • control device 110 may specify the gaze target in the gaze area or the gaze area R using the video data of one camera.
  • the control device 110 includes the database 120 storing design information on a facility (for example, the stadium 100) and a first area (for example, the audience seat 101) in the facility.
  • a plurality of first cameras for example, audience camera group ACs
  • a plurality of second cameras for example, field camera
  • a second subject for example, field 102 in the facility Group FCs
  • the control device 110 includes a detection unit 301, a specification unit 302, a determination unit 303, and a transmission unit 304.
  • the detection unit 301 detects the line-of-sight direction of the audience group 401 in the first subject based on the video data of the first subject captured by any one of the plurality of first cameras.
  • the identifying unit 302 identifies the gaze area R in the second region of the audience group 401 based on the line-of-sight direction of the audience group 401 detected by the detection unit 301, and selects the second image captured by each of the plurality of second cameras. Based on the video data of the two subjects, the gaze target of the audience group present in the gaze area R is specified.
  • the determination unit 303 determines, from among the plurality of second cameras, a specific second camera as a transmission source of the video data, based on the gaze target specified by the specification unit 302.
  • the transmission unit 304 transmits the video data from the specific second camera determined by the determination unit 303.
  • the video data from the determined second camera is broadcast or distributed to the television 103 and the personal computer 104. Therefore, the switching of the second camera (field camera FC) can be automated.
  • control device 110 of (1) above sets a plurality of first cameras based on the score indicating the number of people of the audience group 401 in the first subject photographed by each of the plurality of first cameras. And a selection unit 305 for selecting a specific first camera from among the above.
  • the detection unit 301 detects the line-of-sight direction of the specific audience group 401 in the specific first subject based on the video data of the specific first subject captured by the specific first camera, and the identification unit 302 identifies a gaze area R of a particular audience group 401 based on the gaze direction of the particular audience group 401 detected by the detection unit 301. Therefore, it is possible to automate the switching of the second camera (field camera FC) according to the number of spectators.
  • the selection unit 305 may select a specific first camera based on the positional relationship between the audience group 401 and the gaze area R.
  • the specific first camera field camera FC
  • the specific first camera can be identified in consideration of the detection sensitivity of the sight line direction.
  • the selection unit 305 may select the first camera whose score is equal to or higher than a predetermined threshold value as the specific first camera.
  • the visual line direction of the audience group 401 can be detected from the video data from the first camera that is evaluated to have an extremely large number of spectators. Therefore, it is possible to automatically switch to the second camera which shoots the gaze area and the gaze target which are gazed by a large number of spectators, and as a result, the viewer selects the gaze area R and gaze target which the plurality of spectators gazes You can listen to
  • the selection unit 305 selects the first camera with a relatively high score among the scores of the plurality of first cameras as the specific first camera. Good. Thereby, the visual line direction of the said audience group 401 can be detected by the video data from the 1st camera evaluated that the number of audiences was relatively large. Therefore, it is possible to automatically switch to the second camera which shoots the gaze area and the gaze target which are gazed by a large number of spectators, and as a result, the viewer selects the gaze area R and gaze target which the plurality of spectators gazes You can listen to
  • the selection unit 305 may select the first camera whose score is less than the predetermined threshold as the specific first camera.
  • the visual line direction of the audience group 402 can be detected from the video data from the first camera evaluated to have an absolutely small number of spectators. Therefore, it is possible to automatically switch to the second camera which shoots a gaze area or a gaze target which a small number of spectators gaze at, and as a result, the viewer selects a gaze area R or a gaze object which a few spectators gaze at. You can listen to That is, it is possible to automatically switch to a gaze area R where a large number of spectators could not gaze and video data of a gaze target.
  • the selection unit 305 selects the first camera with a relatively low score among the scores of the plurality of first cameras as the specific first camera. Good.
  • the visual line direction of the audience group 402 can be detected from the video data from the first camera evaluated to have a relatively small number of spectators. Therefore, it is possible to automatically switch to the second camera which shoots a gaze area or a gaze target which a small number of spectators gaze at, and as a result, the viewer selects a gaze area R or a gaze object which a few spectators gaze at. You can listen to That is, it is possible to automatically switch to a gaze area R where a large number of spectators could not gaze and video data of a gaze target.
  • the detection unit 301 determines a specific first subject based on video data of a specific first subject captured by a specific first camera.
  • the line of sight of a particular spectator in a particular group of spectators 402 may be detected.
  • the specifying unit 302 specifies the gaze area R of the specific audience A8 based on the line-of-sight direction of the specific audience A8 detected by the detection unit 301.
  • the viewer can audition a gaze area R or a gaze target at which a specific spectator gazes. Since the spectator watching the game is likely to be a good fan even if the number of spectators is small, switching the second camera to the gaze area R and the gaze target at which the viewer is gazing with such audience eyes Thus, it is possible to provide the viewer with video data from the perspective of the expert.
  • the detection unit 301 is a spectator A1, A2 who is taking a non-gaze action out of a specific audience group 402 based on the video data of the specific first subject.
  • a specific audience A8 may be selected from the remaining audiences A3 to A8 to detect the line of sight direction of the specific audience A8. As a result, noise not involved in the cancellation can be removed, and the detection of the sight line direction can be made more accurate.
  • the database 120 stores image data (characteristic person information 126) about a characteristic person, and the detection unit 301 is an image of a specific first subject Based on the data, a characteristic person from a specific audience group 402 may be detected as a specific audience, and a gaze direction of a specific audience A8 may be detected.
  • the detection unit 301 determines the shooting direction of the specific second camera determined by the determination unit 303 and the line of sight of each of the specific audience group 401.
  • the gaze direction of a specific audience A11 may be detected based on the direction.
  • the first camera is a camera (for example, the omnidirectional camera 1200) capable of photographing the first area (the spectator seat 101) and the second area (field 102).
  • the detection unit 301 detects the line-of-sight direction of the audience group 401 based on the video data including the first subject and the second subject captured by any of the first cameras, and the identification unit 302 detects
  • the gaze target of the audience group 401 present in the gaze area R and the gaze area R in the second area of the audience group 401 may be specified based on the gaze direction of the audience group 401 detected by the unit 301.
  • the gaze region R and the gaze target are specified by the video data of the first camera, it does not depend on the video data of the second camera. Therefore, it is possible to improve the identification accuracy of the gaze area R and the gaze target. Moreover, it is not necessary to specify the gaze target with the second camera, and the processing can be speeded up.
  • the determination unit 303 may determine the specific second camera based on the positional relationship between the audience group 401 and the gaze area R. Thereby, in consideration of the positional relationship between the audience group 401 and the gaze area R, it is possible to automatically switch to the second camera in various shooting directions.
  • the positional relationship when the above-mentioned positional relationship is in a close distance relationship between the audience group 401 and the gaze area R, it is possible to deliver video data in an environment where the audience group 401 is gazing, as viewed from the viewer
  • the same gaze target can be viewed from a viewpoint close to the audience group 401.
  • the positional relationship is a distance distance between the audience group 401 and the gaze area R, video data from an angle different from the direction in which the audience group 401 is gazing can be distributed, From the viewer's point of view, the same gaze target can be viewed from a different viewpoint from the audience group 401.
  • the determination unit 303 may determine the specific second camera based on the recognition result of the gaze target.
  • the viewer determines the player P in the scene after the switching of the second camera by determining the second camera in the shooting direction in which the face of the player P who is the gaze target can be seen, for example, not the audience group 401 standard. It can be viewed from the front.
  • the transmission unit 304 transmits the image data captured by the specific second camera or the information indicating the storage destination of the image data to at least one of the audience group 401. It may be transmitted to the communication terminal 300 of the audience A.
  • the audience group 401 since the scene after the switching of the second camera may be a decisive moment, it is considered that in such a scene, the audience group 401 does not concentrate on gazing and shooting a camera. Therefore, by transmitting the still image data of the scene after switching to such an audience group 401 to the communication terminal 300 of the audience group 401, the definitive still image data that the audience group 401 could not capture is relevant.
  • the audience group 401 can be provided.
  • control system 1 includes the database 120 storing design information on the facility (for example, the stadium 100) and the first subject of the first area (for example, the audience seat 101) in the facility.
  • a plurality of first cameras for example, audience camera group ACs
  • a plurality of second cameras for example, field camera group FCs
  • a controller 110 accessible to these.
  • the control device 110 includes a detection unit 301, a specification unit 302, a determination unit 303, and a transmission unit 304.
  • the detection unit 301 detects the line-of-sight direction of the audience group 401 in the first subject based on the video data of the first subject captured by any one of the plurality of first cameras.
  • the identifying unit 302 identifies the gaze area R in the second region of the audience group 401 based on the line-of-sight direction of the audience group 401 detected by the detection unit 301, and selects the second image captured by each of the plurality of second cameras. Based on the video data of the two subjects, the gaze target of the audience group present in the gaze area R is specified.
  • the determination unit 303 determines, from among the plurality of second cameras, a specific second camera as a transmission source of the video data, based on the gaze target specified by the specification unit 302.
  • the transmission unit 304 transmits the video data from the specific second camera determined by the determination unit 303.
  • the video data from the determined second camera is broadcast or distributed to the television 103 and the personal computer 104. Therefore, the switching of the second camera (field camera FC) can be automated.
  • control program captures the first subject in the first area (for example, the audience seat 101) in the facility and the database 120 storing design information on the facility (for example, the stadium 100)
  • a plurality of first cameras for example, audience camera group ACs
  • a plurality of second cameras for example, field camera group FCs
  • the control program causes the processor 201 to execute detection processing, identification processing, determination processing, and transmission processing.
  • the processor 201 instructs the visual line direction of the audience group 401 in the first subject based on the video data of the first subject captured by any one of the plurality of first cameras.
  • the control program causes the processor 201 to identify the gaze area R in the second area of the audience group 401 based on the line-of-sight direction of the audience group 401 detected by the detection process. Based on the video data of the second subject photographed by each, the gaze target of the audience group present in the gaze area R is specified.
  • the control program causes the processor 201 to determine a specific second camera as a transmission source of the video data from among the plurality of second cameras based on the gaze target specified by the identification process.
  • the control program causes the processor 201 to transmit video data from the specific second camera determined by the determination process.
  • the video data from the determined second camera is broadcast or distributed to the television 103 and the personal computer 104. Therefore, the automation of the switching of the second camera (field camera FC) can be realized by software.
  • the constraint condition may be set so that switching is not performed until a predetermined time elapses after the second camera is switched.
  • the relationship between the video data before switching and the second camera after switching is learned and stored in the database 120, and when switching the second camera, the control device 110 refers to the learning contents.
  • the second camera may be determined. Thereby, the determination accuracy of the second camera can be improved.
  • control device 110 may use shooting data (for example, information on the technique of the director) of past similar competitions. Specifically, for example, by machine learning the shooting data, the control device 110 can learn a rule relating to the optimal cut position, and can improve detection accuracy of the sight line direction.
  • shooting data for example, information on the technique of the director
  • the control device 110 can learn a rule relating to the optimal cut position, and can improve detection accuracy of the sight line direction.
  • the field camera FC may have an automatic shutter function.
  • the present invention is also applicable to the case where the target in the line-of-sight direction of the audience group is static.
  • FIG. 21 is an explanatory diagram of an automatic shutter function of the field camera FC.
  • the control device 110 detects the sight line direction of the player P who is the subject with reference to the video data of the field camera FC.
  • the field camera FC releases the shutter and captures still image data 2100 having the player P as a main subject.
  • still image data of the player P looking at the camera can be automatically obtained.
  • the present embodiment is applicable when the target in the line-of-sight direction of the audience group is a static one that does not move, for example, a displayed commodity.
  • FIG. 22 is an explanatory view showing an application example to marketing.
  • the crowd 2201 gazes at a display shelf of goods, and the control device 110 shoots the crowd 2201 with the audience camera AC, detects a gaze vector indicating a gaze direction of each person in the crowd 2201 from the shooting data, and synthesizes Generate a gaze vector.
  • the control device 110 specifies a product pointed to by the synthetic gaze vector from among the products displayed on the display rack 2200 (hereinafter referred to as a specific product), and is designated by the number of sales of a specific commodity and the synthetic gaze vector. It manages statistical information such as the number of sales when it is sold, the number of sales when it is not designated by the synthetic gaze vector, and the number of times it is not selected when it is designated by the synthetic gaze vector. Thus, it can be used to detect high interest products and low products.
  • a gaze area is used using the video data of one or several 1st cameras (audience camera AC) It is also possible to control one second camera (field camera FC) by specifying the gaze target in R or the gaze area R.
  • the control unit that controls the second camera (field camera FC) executes, for example, control to direct the second camera (field camera FC) toward the identified gaze area R or the gaze target in the identified gaze area R .
  • control device 110 switches the plurality of field cameras FC
  • the gaze target in the gaze area R or the gaze area R using video data of one or more audience cameras AC May be specified, and an image generated by photographing of one field camera FC may be processed.
  • the control device 110 specifies, for example, the identified gaze area R or an area of a partial image including the gaze target in the identified gaze area R from an image generated by photographing of one field camera FC. Then, the control device 110 may broadcast (transmit) the specified partial image.
  • control device 110 may process an image of a subject obtained by photographing a first area in which a spectator is present and a second area in which a gaze target is present with one camera.
  • the control device 110 identifies the gaze area R or a gaze target in the gaze area R from, for example, an image generated by photographing by one camera, and specifies a partial image area including the specified gaze object. Then, the control device 110 may broadcast (transmit) the specified partial image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Circuits (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

制御装置は、施設内の第１領域の第１被写体を撮影する複数の第１カメラと、施設内の第２領域の第２被写体を撮影する複数の第２カメラと、にアクセス可能であり、複数の第１カメラのうちいずれかの第１カメラによって撮影された第１被写体の映像データに基づいて、第１被写体内の観客群の視線方向を検出する検出部と、観客群の視線方向に基づいて、観客群の第２領域内の注視領域を特定し、複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、注視領域内に存在する観客群の注視対象を特定する特定部と、注視対象に基づいて、複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定部と、特定の第２カメラからの映像データを送信する送信部と、を有する。

Description

制御装置、制御システム、および制御プログラム 参照による取り込み
　本出願は、平成２９年（２０１７年）１０月１７日に出願された日本出願である特願２０１７－２０１１９０の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、制御装置、制御システム、および制御プログラムに関する。
　特許文献１は、スポーツ競技等の撮影に用いられるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラムを開示する。しかしながら、特許文献１では、操作者からの切替指示により、競技撮影用カメラを切り替えている。すなわち、テレビの放送用のカメラの切替は依然としてディレクターと呼ばれる責任者の指示により行われるため、切替の自動化は考慮されていない。
特開２００８－５２０８号公報
　本願において開示される技術の一側面となる制御装置は、施設内の第１領域の第１被写体を撮影する複数の第１カメラと、前記施設内の第２領域の第２被写体を撮影する複数の第２カメラと、にアクセス可能な制御装置であって、前記複数の第１カメラのうちいずれかの第１カメラによって撮影された前記第１被写体の映像データに基づいて、前記第１被写体内の観客群の視線方向を検出する検出部と、前記検出部によって検出された前記観客群の視線方向に基づいて、前記観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記観客群の注視対象を特定する特定部と、前記特定部によって特定された注視対象に基づいて、前記複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定部と、前記決定部によって決定された特定の第２カメラからの映像データを送信する送信部と、を有する。
　本願において開示される技術の他の側面となる制御装置は、施設内の第１領域の第１被写体を撮影する第１カメラと、前記施設内の第２領域の第２被写体を撮影する第２カメラと、にアクセス可能な制御装置であって、前記第１カメラによって撮影された前記第１被写体の映像データに基づいて、前記第１被写体内の観客群の視線方向を検出する検出部と、前記検出部によって検出された前記観客群の視線方向に基づいて、前記観客群の前記第２領域内の注視領域を特定する特定部と、前記特定部の特定結果に基づいて、前記第２カメラの撮影を制御する制御部と、を有する。
　本願において開示される技術の一側面となる制御システムは、施設内の第１領域の第１被写体を撮影する複数の第１カメラと、前記施設内の第２領域の第２被写体を撮影する複数の第２カメラと、前記複数の第１カメラ、および前記複数の第２カメラにアクセス可能な制御装置と、を有する制御システムであって、前記制御装置は、前記複数の第１カメラのうちいずれかの第１カメラによって撮影された前記第１被写体の映像データに基づいて、前記第１被写体内の観客群の視線方向を検出する検出部と、前記検出部によって検出された前記観客群の視線方向に基づいて、前記観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記観客群の注視対象を特定する特定部と、前記特定部によって特定された注視対象に基づいて、前記複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定部と、前記決定部によって決定された特定の第２カメラからの映像データを送信する送信部と、を有する。
　本願において開示される技術の一側面となる制御プログラムは、施設内の第１領域の第１被写体を撮影する複数の第１カメラと、前記施設内の第２領域の第２被写体を撮影する複数の第２カメラと、にアクセス可能なプロセッサに、前記複数の第１カメラのうちいずれかの第１カメラによって撮影された前記第１被写体の映像データに基づいて、前記第１被写体内の観客群の視線方向を検出する検出処理と、前記検出処理によって検出された前記観客群の視線方向に基づいて、前記観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記観客群の注視対象を特定する特定処理と、前記特定処理によって特定された注視対象に基づいて、前記複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定処理と、前記決定処理によって決定された特定の第２カメラからの映像データを送信する送信処理と、を実行させる。
　本願において開示される技術の他の側面となる制御プログラムは、施設内の第１領域の第１被写体を撮影する第１カメラと、前記施設内の第２領域の第２被写体を撮影する第２カメラと、にアクセス可能なプロセッサに、前記第１カメラによって撮影された前記第１被写体の映像データに基づいて、前記第１被写体内の観客群の視線方向を検出する検出処理と、前記検出処理によって検出された前記観客群の視線方向に基づいて、前記観客群の前記第２領域内の注視領域を特定する特定処理と、前記特定処理の特定結果に基づいて、前記第２カメラの撮影を制御する制御処理と、を実行させる。
図１は、制御システムの構成例を示す説明図である。 図２は、制御装置のハードウェア構成例を示すブロック図である。 図３は、制御装置の機能的構成例を示すブロック図である。 図４は、観客カメラで撮影される観客群の一例を示す説明図である。 図５は、観客の動的な視線方向の感度例１を示す説明図である。 図６は、観客の動的な視線方向の感度例２を示す説明図である。 図７は、観客の動的な視線方向の感度例３を示す説明図である。 図８は、観客群の視線方向の検出例を示す説明図である。 図９は、耳の位置変化による動きベクトルの検出例を示す説明図である。 図１０は、特定の観客の視線方向の検出例を示す説明図である。 図１１は、特定部による注視領域および注視対象の特定例１を示す説明図である。 図１２は、特定部による注視領域および注視対象の特定例２を示す説明図である。 図１３は、注視領域の面積の計算例を示す説明図である。 図１４は、制御装置による制御処理手順例を示すフローチャートである。 図１５は、図１４に示した選択部による第１観客カメラ選択処理（ステップＳ１４０１）の詳細な処理手順例１を示すフローチャートである。 図１６は、図１４に示した選択部による第１観客カメラ選択処理（ステップＳ１４０１）の詳細な処理手順例２を示すフローチャートである。 図１７は、図１５に示した第２観客カメラ選択処理（ステップＳ１５０４）の詳細な処理手順例１を示すフローチャートである。 図１８は、図１５に示した第２観客カメラ選択処理（ステップＳ１５０４）の詳細な処理手順例２を示す説明図である。 図１９は、図１５に示した第２観客カメラ選択処理（ステップＳ１５０４）の詳細な処理手順例２を示すフローチャートである。 図２０は、図１４に示した特定処理（ステップＳ１４０３）の詳細な処理手順例を示すフローチャートである。 図２１は、フィールドカメラの自動シャッター機能の説明図である。 図２２は、マーケティングへの応用例を示す説明図である。
　＜制御システムの構成例＞
　図１は、制御システムの構成例を示す説明図である。本実施例の制御システム１は、テレビやインターネット上に放送される映像データのシーンを観客からの視線に合わせて自動的に切り替えるシステムである。この制御システム１は、たとえば、施設に実装されるシステムである。施設とは、観客が注視対象を目視するための建造物または場所であり、具体的には、たとえば、スタジアム、アリーナ、イベントホール、体育館、運動場、競技場、プール、演舞場、テーマパークを含む。本実施例では、サッカーのスタジアム１００を例に挙げて説明する。
　施設は、観客が存在する第１領域と注視対象が存在する第２領域とを有する。サッカーのスタジアム１００の場合、第１領域が観客席１０１であり、第２領域がフィールド１０２である。注視対象とは、観客が注視する人または物であり、たとえば、サッカーの場合、人であれば選手や監督、審判であり、物であればボールである。
　制御システム１は、複数の観客カメラＡＣと、複数のフィールドカメラＦＣと、制御装置１１０と、データベースと、を有する。観客カメラＡＣは、第１領域である観客席１０１を被写体として動画撮影するカメラである。フィールドカメラＦＣは、スタジアム１００のフィールド１０２を被写体として動画撮影するカメラである。フィールドカメラＦＣは、被写体を自動的に追尾してもよく、撮影者が操作してもよい。
　観客カメラＡＣおよびフィールドカメラＦＣからの映像データは、制御装置１１０に送信される。なお、フィールドカメラＦＣの映像データは、電波塔経由で一般家庭のテレビ１０３に、または、インターネット経由でパーソナルコンピュータ１０４（スマートフォンやタブレット含む）に配信される。
　制御装置１１０は、複数の観客カメラＡＣ、複数のフィールドカメラＦＣ、およびデータベース１２０と通信可能なコンピュータである。データベース１２０は、施設に関する設計情報として、観客席情報１２１、フィールド情報１２２、観客カメラ情報１２３、フィールドカメラ情報１２４を記憶する。また、データベース１２０は、選手情報１２５や特徴人物情報１２６も記憶する。データベース１２０は、制御装置１１０からアクセス可能であれば、制御システム１の外に設けられてもよい。
　観客席情報１２１は、直交しあうＸ軸、Ｙ軸、およびＺ軸からなるローカル座標系１０において、施設における観客席１０１の３次元位置を示す情報である。Ｘ軸およびＹ軸で形成される平面がフィールド１０２に平行な面であり、Ｚ軸がフィールド１０２からの高さを示す。
　フィールド情報１２２は、施設におけるフィールド１０２の３次元位置を示す情報である。観客カメラ情報１２３は、施設における観客カメラＡＣの３次元位置や撮影条件を示す情報である。撮影条件とは、たとえば、撮影方向、画角、倍率である。フィールドカメラ情報１２４は、施設におけるフィールドカメラＦＣの３次元位置や撮影条件を示す情報である。
　選手情報１２５は、選手の所属チームやユニフォームの色や模様、背番号を示す情報である。また、選手の顔画像データを含んでもよい。特徴人物情報１２６は、特徴的な人物を示す情報であり、具体的には、たとえば、当該人物の顔画像データや服装の画像データを含む。
　ここで、制御システム１の動作について説明する。
（１－１）フィールドカメラＦＣがフィールド１０２上の選手やボールを撮影し映像データを取得する。
（１－２）観客カメラＡＣが観客席１０１の観客群を撮影し、映像データを取得する。
（２－１）フィールドカメラＦＣは、取得した映像データを制御装置１１０に送信する。
（２－２）観客カメラＡＣは、取得した映像データを制御装置１１０に送信する。
（３）制御装置１１０は、取得した映像データを用いて、観客群が注視しているフィールド１０２の領域（以下、注視領域）を特定し、注視領域に存在する注視対象（選手やボール）を、データベース１２０を参照して特定する。
（４）制御装置１１０は、特定した注視対象を撮影するフィールドカメラＦＣを複数のフィールドカメラＦＣから決定する。制御装置１１０は、具体的には、たとえば、注視領域とフィールドカメラＦＣとの位置関係や距離、同一フィールドカメラＦＣの連続放送時間がしきい値を超えたか否か、選手の顔が認識できるか否か、といった基準により、切替先となる最適なフィールドカメラＦＣを決定する。
　これにより、決定されたフィールドカメラＦＣからの映像データが、テレビ１０３やパーソナルコンピュータ１０４に放送または配信される。したがって、フィールドカメラＦＣの切替の自動化を図ることができる（リアルタイム制御）。
　＜制御装置１１０のハードウェア構成例＞
　図２は、制御装置１１０のハードウェア構成例を示すブロック図である。制御装置１１０は、プロセッサ２０１と、記憶デバイス２０２と、入力デバイス２０３と、出力デバイス２０４と、通信インターフェース（通信ＩＦ）２０５と、を有する。プロセッサ２０１、記憶デバイス２０２、入力デバイス２０３、出力デバイス２０４、および通信ＩＦ２０５は、バス２０６により接続される。
　プロセッサ２０１は、制御装置１１０を制御する。記憶デバイス２０２は、プロセッサ２０１の作業エリアとなる。また、記憶デバイス２０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス２０２としては、たとえば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、フラッシュメモリがある。
　入力デバイス２０３は、データを入力する。入力デバイス２０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス２０４は、データを出力する。出力デバイス２０４としては、たとえば、ディスプレイ、プリンタがある。
　通信ＩＦ２０５は、観客カメラ群ＡＣｓおよびフィールドカメラ群ＦＣｓから映像データを受信する。また、通信ＩＦ２０５は、インターネット２００や電波塔２１０と接続し、観客カメラ群ＡＣｓおよびフィールドカメラ群ＦＣｓから受信した映像データをパーソナルコンピュータ１０４やテレビ１０３に送信する。
　＜制御装置１１０の機能的構成例＞
　図３は、制御装置１１０の機能的構成例を示すブロック図である。制御装置１１０は、検出部３０１と、特定部３０２と、決定部３０３と、送信部３０４と、選択部３０５と、を有する。検出部３０１～選択部３０５は、具体的には、たとえば、図２に示した記憶デバイス２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより実現される機能である。
　検出部３０１は、観客カメラ群ＡＣｓのうちいずれかの観客カメラＡＣによって撮影された第１被写体の映像データに基づいて、第１被写体内の観客群の視線方向を検出する。観客群の視線方向とは、観客群の中の各観客の視線方向の合成ベクトルが指し示す方向である。
　すなわち、合成ベクトルのスカラー値が所定値以上である場合、観客群の大部分が合成ベクトルの方向を向いて、フィールド１０２を注視しているとみなす。なお、観客の個々の視線方向の検出する方法の一つとして、目領域の検出がある。検出部３０１は、観客が映っている映像データ中から目領域中の虹彩の位置を検出することにより視線方向を検出する。また、検出部３０１は、観客の顔の向きにより、観客の視線方向を検出してもよい。
　特定部３０２は、検出部３０１によって検出された観客群の視線方向に基づいて、観客群の第２領域内の注視領域を特定する。具体的には、たとえば、特定部３０２は、観客群の視線方向の先となるフィールド１０２上の注視領域を、データベース１２０の観客席情報１２１およびフィールド情報１２２から特定する。すなわち、観客群の観客席１０１の位置を始点として視線方向の先となるフィールド１０２の領域を注視領域とする。なお、注視領域は、視線方向の延長線とフィールド１０２とが交差する点を包含する領域である。
　また、特定部３０２は、フィールドカメラ群ＦＣｓの各フィールドカメラＦＣによって撮影された第２被写体の映像データに基づいて、注視領域内に存在する観客群の注視対象を特定する。具体的には、たとえば、特定部３０２は、フィールドカメラＦＣが撮影している注視領域上の注視対象を、フィールドカメラＦＣの映像データから特定する。
　また、観客カメラＡＣが、いわゆる全天球型カメラである場合、観客カメラＡＣは、観客席１０１と、当該観客席１０１と反対側のフィールド１０２を撮像している。したがって、制御装置１１０は、この観客カメラＡＣからの映像データを用いて、観客群の視線方向の延長線上に存在する注視対象を直接特定する。これにより、注視対象の特定にフィールドカメラＦＣの映像データを用いる必要がなく、注視対象の特定精度の向上および処理速度の向上を図ることができる。
　決定部３０３は、特定部３０２によって特定された注視対象に基づいて、フィールドカメラ群ＦＣｓの中から映像データの送信元となる特定のフィールドカメラＦＣを決定する。具体的には、たとえば、決定部３０３は、注視領域とフィールドカメラＦＣとの位置関係や距離、同一フィールドカメラＦＣの連続放送時間がしきい値を超えたか否か、選手の顔が認識できるか否か、といった基準により、切替先となる最適なフィールドカメラＦＣを決定する。
　これにより、決定されたフィールドカメラＦＣからの映像データが、テレビ１０３やパーソナルコンピュータ１０４に放送または配信される。したがって、フィールドカメラＦＣの切替の自動化を図ることができる。
　送信部３０４は、決定部３０３によって決定された特定のフィールドカメラＦＣからの映像データを送信する。具体的には、たとえば、送信部３０４は、通信ＩＦを用いて、電波塔２１０経由で一般家庭のテレビ１０３に、または、インターネット２００経由でパーソナルコンピュータ１０４（スマートフォンやタブレット含む）に、特定のフィールドカメラＦＣからの映像データを送信する。
　選択部３０５は、視線方向の検出に先立って、観客カメラ群ＡＣｓの中から特定の観客カメラＡＣを選択する。具体的には、たとえば、選択部３０５は、複数の観客カメラＡＣの各々が撮影した第１被写体内の観客群の人数の多さを示すスコアに基づいて、複数の観客カメラＡＣの中から特定の観客カメラＡＣを選択する。スコアは、観客群の人数の多さを示し、具体的には、たとえば、映像データの１フレーム内の面積のうち観客の画像データが占める割合、すなわち、密度である。スコアが大きいほど、観客数が多い。
　なお、選択部３０５による観客カメラＡＣの選択は、検出部３０１で多数の観客群の視線方向を検出するためである。したがって、所定数以上の観客席１０１が第１被写体として観客カメラＡＣの画角に収まるように、観客カメラＡＣの撮影条件が設定されているものとする。検出部３０１は、選択部３０５によって選択された観客カメラＡＣにより撮影された第１被写体の映像データに基づいて、第１被写体内の観客群の視線方向を検出することになる。
　また、選択部３０５は、観客群と注視領域との位置関係に基づいて、特定の観客カメラＡＣを選択する。具体的には、たとえば、選択部３０５は、複数の観客カメラＡＣの中で、注視領域に近い観客群を撮影する観客カメラＡＣを特定の観客カメラＡＣとして選択する。当該選択についての詳細は、図４～図６で後述する。
　また、選択部３０５は、スコアが所定のしきい値以上となる観客カメラＡＣを特定の観客カメラＡＣとして選択する。スコアが高い観客カメラＡＣほど、より多くの観客を撮影しているため、観客群の視線方向の検出に適していることになる。したがって、選択部３０５は、複数の観客カメラＡＣの中で絶対的にスコアが高い、すなわち、スコアがしきい値以上である観客カメラＡＣを選択すればよい。
　スコアが所定のしきい値以上となる観客カメラＡＣが複数存在する場合は、選択部３０５は、最高値のスコアの観客カメラＡＣを選択してもよい。また、上述した観客席１０１と注視領域との位置関係で特定の観客カメラＡＣとしての条件を満たしている観客カメラＡＣに制限してもよい。
　また、選択部３０５は、複数の観客カメラＡＣのスコアの中で相対的なに高いスコアの観客カメラＡＣを特定の観客カメラＡＣとして選択する。スコアが高い観客カメラＡＣほど、より多くの観客を撮影しているため、観客群の視線方向の検出に適していることになる。したがって、選択部３０５は、複数の観客カメラＡＣの中で相対的にスコアが高い観客カメラＡＣを選択すればよい。
　相対的に高いスコアの観客カメラＡＣが複数存在する場合は、選択部３０５は、その中で最高のスコアの観客カメラＡＣを選択してもよい。また、上述した観客席１０１と注視領域との位置関係で特定の観客カメラＡＣとしての条件を満たしている観客カメラＡＣに制限してもよい。
　また、選択部３０５は、スコアが所定のしきい値未満となる観客カメラＡＣを特定の観客カメラＡＣとして選択してもよい。スコアが高い観客カメラＡＣほど、より多くの観客を撮影しているため、観客群の視線方向の検出に適しているが、しきい値以上のスコアが存在しない場合は、しきい値未満のスコアの観客カメラＡＣが選択される。スコアが所定のしきい値未満となる観客カメラＡＣが複数存在する場合は、選択部３０５は、最高値のスコアの観客カメラＡＣを選択してもよい。
　また、上述した観客席１０１と注視領域との位置関係で特定の観客カメラＡＣとしての条件を満たしている観客カメラＡＣに制限してもよい。また、選択部３０５は、通常は、スコアがしきい値以上の観客カメラＡＣを選択し、ランダムにまたは周期的にスコアがしきい値未満となる観客カメラＡＣを選択してもよい。これにより、少数派の視線方向も考慮して、たとえば、多数派が見逃してしまうようなシーンにフィールドカメラＦＣを切り替えることができる。
　また、選択部３０５は、複数の観客カメラＡＣのスコアの中で相対的に低いスコアの観客カメラＡＣを特定の観客カメラＡＣとして選択する。相対的に低いスコアの観客カメラＡＣが複数存在する場合は、選択部３０５は、その中で最低のスコアの観客カメラＡＣを選択してもよい。また、上述した観客席１０１と注視領域との位置関係で特定の観客カメラＡＣとしての条件を満たしている観客カメラＡＣに制限してもよい。
　また、選択部３０５は、通常は、スコアが最低ではない観客カメラＡＣを選択し、ランダムにまたは周期的に相対的に低いスコアの観客カメラＡＣを選択してもよい。これにより、少数派の視線方向も考慮して、たとえば、多数派が見逃してしまうようなシーンにフィールドカメラＦＣを切り替えることができる。
　また、スコアがしきい値未満または相対的に低い観客カメラＡＣが特定の観客カメラＡＣとして選択された場合、検出部３０１は、特定の観客カメラＡＣで撮影される観客群の視線方向ではなく、その中の特定の観客の視線方向を検出してもよい。スコアがしきい値未満または相対的に低い場合は、観客数が少ないため、観客群の視線方向が、観客群全体として注視したい方向でない場合もある。したがって、このような場合には、検出部３０１は、ノイズ除去により、観客群を絞り込む。
　ここで、ノイズとは、スマートフォンの操作中、飲食中（いずれも下を向いている）、電光掲示板の方向を向いている観客のように非注視行動をとっている観客である。検出部３０１は、そのような視線方向の観客を除去し、残余の観客群から特定の観客の視線方向を検出する。また、検出部３０１は、データベース１２０を参照して特徴的な人物を特定の観客として選択し、その視線方向を検出してもよい。
　また、スコアがしきい値未満または相対的に低い観客カメラＡＣが特定の観客カメラＡＣとして選択された場合、検出部３０１は、決定部３０３によって決定された特定のフィールドカメラＦＣの撮影方向と、特定の観客群の各々の視線方向と、に基づいて、特定の観客の視線方向を検出してもよい。
　特定のフィールドカメラＦＣからの映像データは、テレビ１０３の視聴者が視聴するため、特定のフィールドカメラＦＣの撮影方向は、テレビ１０３の視聴者の視線方向となる。したがって、検出部３０１は、当該撮影方向と逆方向に位置する観客群の個々の観客の視線方向を検出し、その中から特定の観客の視線方向を検出してもよい。
　この場合の特定の観客の視線方向は、撮影方向と同一または許容範囲内で近似する方向でもよい。これにより、テレビ１０３の視聴者と観客とがともに注視する映像を提供することができる。また、特定の観客の視線方向は、撮影方向と許容範囲外れている方向でもよい。これにより、テレビ１０３の視聴者が注視することができない注視対象へフィールドカメラＦＣを切り替えることができる。
　また、制御装置１１０は、フィールドカメラ群ＦＣｓのうち、過去の放送データに最も類似している画像データを撮影しているフィールドカメラＦＣに切り替えてもよい。このとき、制御装置１１０は、観客カメラＡＣと当該被写体を結んだベクトルを観客の視線方向として検出する。この視線方向検出に基づき、検出精度を改善することができる。
　また、送信部３０４は、フィールドカメラＦＣが撮影した静止画データを、当該フィールドカメラＦＣの切替元となった観客群のうち少なくとも１人の観客Ａの通信端末３００（たとえば、スマートフォン）に送信してもよい。この場合、制御装置１１０は、データベースに観客の通信端末３００のアドレス情報（たとえば、電子メールアドレス）を記憶しているものとする。静止画データは、フィールドカメラＦＣが静止画として撮影したデータでもよく、映像データから抽出したデータでもよい。
　また、送信部３０４は、静止画データそのものではなく、静止画データの保存先を示すアクセス情報（たとえば、ＵＲＬ）を当該通信端末３００に送信してもよい。フィールドカメラＦＣの切替直後は、決定的なシーンとなることがあるため、その時の静止画データまたはアクセス情報を、当該シーンを見ていたであろう観客に提供することができる。特に、このようなシーンでは、観客は撮影せずに注視対象を注視しているため、観客は静止画データを撮影できる状況でなくても、そのとき注視している注視対象の静止画データを取得することができる。
　上述した実施例では、制御装置１１０は、複数のフィールドカメラＦＣを切り替える例を説明したが、１台または複数の観客カメラＡＣの映像データを用いて注視領域Ｒ、あるいは注視領域Ｒ内の注視対象を特定して、１台のフィールドカメラＦＣを制御することとしてもよい。フィールドカメラＦＣを制御する制御部は、たとえば、特定した注視領域Ｒ、あるいは特定した注視領域Ｒ内の注視対象の方向にフィールドカメラＦＣを向ける制御を実行する。
　＜観客カメラＡＣで撮影される観客群＞
　図４は、観客カメラＡＣで撮影される観客群の一例を示す説明図である。図４において、観客カメラＡＣ１，ＡＣ２は同一撮影条件とする。観客カメラＡＣ１は、観客席１０１の観客群４０１を撮影しており、観客カメラＡＣ２は、観客席１０１の観客群４０２を撮影している。観客群４０１，４０２の人数の多さは、上述した選択部３０５においてスコアを算出することにより特定される。
　図４の例では、観客群４０１のスコアは、しきい値以上または相対的に高いスコアとなり、検出部３０１は、観客群４０１の各々の観客の視線方向ベクトルの合成ベクトルを、観客群４０１の視線方向として検出する。また、観客群４０２のスコアは、しきい値未満または相対的に低いスコアとなり、検出部３０１は、観客群４０１の特定の観客の視線方向を検出する。
　＜観客と選手との位置関係＞
　つぎに、観客と選手との位置関係について説明する。観客席１０１は、フィールド１０２の周囲に設置されているものとする。観客がフィールド１０２上の注視対象（選手やボール）を視線追尾する場合、制御装置１１０は、観客の動的な視線方向や奥行側の追尾をしづらく、視線方向に直交する左右方向や手前側の追尾をしやすい。視線方向の追尾のしやすさを感度と表現する。したがって、観客の動的な視線方向や奥行側の追尾については感度が悪く、視線方向に直交する左右方向や手前側の追尾については感度が良い。
　なお、以下の図５～図７では、ある一人の観客を例に挙げて説明するが、複数の観客の集合である観客群の場合も同様である。
　図５は、観客の動的な視線方向の感度例１を示す説明図である。フィールド１０２を囲む観客席１０１Ａ～１０１Ｄのうち、観客５００Ａは、観客席１０１Ａに位置し、観客５００Ｂは、観客席１０１Ｂに位置する。観客席１０１Ａは、観客席１０１Ｂと対向する。
　また、フィールド１０２において、選手ＰがＸ方向に移動するエリアをエリア１０２Ａ、１０２Ｂとする。エリア１０２Ａは、観客席１０１Ｂよりも観客席１０１Ａに近いエリアであり、エリア１０２Ｂは、観客席１０１Ａよりも観客席１０１Ｂに近いエリアである。
　図５においては、選手Ｐがエリア１０２Ａに存在するときの観客５００Ａの最大視野角はθＡであり、選手Ｐがエリア１０２Ｂに存在するときの観客５００Ａの最大視野角はθＢ（＜θＡ）である。したがって、観客５００Ａは、選手Ｐがエリア１０２Ｂよりもエリア１０２Ａにいる時の方が選手ＰのＸ方向の移動による視線方向の違いが得られやすい。これにより、検出部３０１は、観客５００Ａの視線方向を高感度で検出することができる。
　同様に、観客５００Ｂは、選手Ｐがエリア１０２Ａよりもエリア１０２Ｂにいる時の方が選手ＰのＸ方向の移動による視線方向の違いが得られやすい。したがって、検出部３０１は、観客５００Ａの視線方向を高感度で検出することができる。また、観客５００Ａ、５００Ｂはともに、選手ＰのＹ方向の移動による視線方向の違いが得られにくい。すなわち、視線方向の検出感度がＸ方向よりも悪い。
　したがって、選手Ｐがエリア１０２Ａにいる場合、選択部３０５は、観客席１０１Ａを撮影する観客カメラＡＣ－Ａを選択するのが好ましく、選手Ｐがエリア１０２Ｂにいる場合、選択部３０５は、観客席１０１Ｂを撮影する観客カメラＡＣ－Ｂを選択するのが好ましい。
　図６は、観客の動的な視線方向の感度例２を示す説明図である。フィールド１０２を囲む観客席１０１Ａ～１０１Ｄのうち、観客５００Ｃは、観客席１０１Ｃに位置し、観客５００Ｄは、観客席１０１Ｄに位置する。また、観客席１０１Ｃは、観客席１０１Ｄと対向する。
　また、フィールド１０２において、選手ＰがＹ方向に移動するエリアをエリア１０２Ｃ、１０２Ｄとする。エリア１０２Ｃは、観客席１０１Ｄよりも観客席１０１Ｃに近いエリアであり、エリア１０２Ｄは、観客席１０１Ｃよりも観客席１０１Ｄに近いエリアである。
　図６においては、選手Ｐがエリア１０２Ｃに存在するときの観客５００Ｃの最大視野角はθＣであり、選手Ｐがエリア１０２Ｄに存在するときの観客５００Ｃの最大視野角はθＤ（＜θＣ）である。したがって、観客５００Ｃは、選手Ｐがエリア１０２Ｄよりもエリア１０２Ｃにいる時の方が選手ＰのＹ方向の移動による視線方向の違いが得られやすい。これにより、検出部３０１は、観客５００Ｃの視線方向を高感度で検出することができる。
　同様に、観客５００Ｄは、選手Ｐがエリア１０２Ｃよりもエリア１０２Ｄにいる時の方が選手ＰのＹ方向の移動による視線方向の違いが得られやすい。したがって、検出部３０１は、観客５００Ｃの視線方向を高感度で検出することができる。また、観客５００Ｃ、５００Ｄはともに、選手ＰのＸ方向の移動による視線方向の違いが得られにくい。すなわち、視線方向の検出感度がＹ方向よりも悪い。
　したがって、選手Ｐがエリア１０２Ｃにいる場合、選択部３０５は、観客席１０１Ｃを撮影する観客カメラＡＣ－Ｃを選択するのが好ましく、選手Ｐがエリア１０２Ｄにいる場合、選択部３０５は、観客席１０１Ｄを撮影する観客カメラＡＣ－Ｄを選択するのが好ましい。
　図７は、観客の動的な視線方向の感度例３を示す説明図である。感度例３は、感度例１と感度例２とを結合した例である。エリア１０２Ａとエリア１０Ｃの重複エリアがエリア１０２ＡＣであり、エリア１０２Ａとエリア１０Ｄの重複エリアがエリア１０２ＡＤであり、エリア１０２Ｂとエリア１０Ｃの重複エリアがエリア１０２ＢＣであり、エリア１０２Ｂとエリア１０２Ｄの重複エリアがエリア１０２ＢＤである。
　選手Ｐがエリア１０２ＡＣにいる場合、選択部３０５は、観客席１０１Ａを撮影する観客カメラＡＣ－Ａまたは観客席１０１Ｃを撮影する観客カメラＡＣ－Ｃを選択するのが好ましく、選手Ｐがエリア１０２ＡＤにいる場合、選択部３０５は、観客席１０１Ａを撮影する観客カメラＡＣ－Ａまたは観客席１０１Ｄを撮影する観客カメラＡＣ－Ｄを選択するのが好ましい。
　＜観客群の視線方向＞
　図８は、観客群４０１の視線方向の検出例を示す説明図である。検出部３０１は、個々の観客の動きベクトルｍｖを検出し、各動きベクトルｍｖの合成動きベクトルＭＶを観客群４０１の視線方向として生成する。その際、検出部３０１は、観客の目領域中の虹彩の位置の変化により動きベクトルｍｖを視線方向として検出してもよく、観客の頭は顔のパーツ（たとえば、耳）の位置の変化により動きベクトルｍｖを視線方向として検出してもよい。
　なお、検出部３０１は、観客の個々の頭部方向を検知し、注視領域を特定してもよい。検出部３０１は、頭部方向検出において、画像データから頭部およびその方向を検出する既存のアルゴリズムなどを用いる。たとえば、検出部３０１は、深層学習を用いて頭部方向（３自由度：Ｙａｗ，Ｒｏｌｌ，Ｐｉｔｃｈ）の学習を行うことで顔画像から頭部方向を検出することができる。
　図９は、耳の位置変化による動きベクトルｍｖの検出例を示す説明図である。なお、観客カメラＡＣが全天球型カメラである場合、映像データの各フレームの両端に歪みが発生するため、フレームの両端を拡大することにより、観客の耳の位置の変化量が大きくなり、検出部３０１は、動きベクトルｍｖを検出しやすくなる。
　図１０は、特定の観客の視線方向の検出例を示す説明図である。図１０では、上述したように、観客群４０２の人数を示すスコアがしきい値未満または相対的に低いために、選択部３０５は、特定の観客を選択する。図１０において、観客Ａ１～Ａ８のうち、観客Ａは、スマートフォン１０００を見ているため、ノイズとして除外される。
　観客Ａ２は、その視線方向が、たとえば、電光掲示板の方向となるため、ノイズとして除外される。なお、電光掲示板の位置は、施設の設計情報から得られる。したがって、選択部３０５は、観客Ａ３～Ａ８の中から任意の観客を特定の観客として選択する。また、観客Ａ３～Ａ８の中で、特徴人物情報１２６に合致する観客がいる場合（たとえば、観客Ａ８）、観客Ａ８を特定の観客として選択してもよい。
　＜注視領域および注視対象の特定例＞
　図１１は、特定部３０２による注視領域および注視対象の特定例１を示す説明図である。仮想平面ＶＳは、ＸＺ平面に平行な面である。観客カメラＡＣは仮想平面ＶＳ上に位置する。特定部３０２は、合成動きベクトルＭＶを仮想平面ＶＳからフィールド１０２側に投影して、フィールド１０２上の領域となる注視領域Ｒを特定する。そして、特定部３０２は、注視領域Ｒを撮像中のフィールドカメラＦＣ－Ａ～ＦＣ－Ｄを、当該フィールドカメラＦＣ－Ａ～ＦＣ－Ｄの撮影方向ＰＤ－Ａ～ＰＤ－Ｄから特定する。
　ここで、特定部３０２は、撮影方向ＰＤ－Ｂが注視領域Ｒを向いていないフィールドカメラＦＣ－Ｂを除外する。図１１の場合、特定部３０２は、フィールドカメラＦＣ－Ａ，ＦＣ－Ｃ，ＦＣ－Ｄの映像データから注視領域Ｒ内に存在する選手Ｐを注視対象として特定する。
　図１２は、特定部３０２による注視領域および注視対象の特定例２を示す説明図である。図１２の特定例は、観客カメラＡＣとして全天球型カメラ１２００を用いた例である。全天球型カメラ１２００を用いることにより、全天球型カメラ１２００に対し合成動きベクトルＭＶの生成元の観客群４０１の反対側のフィールド１０２も撮影される。したがって、特定部３０２は、全天球型カメラ１２００の映像データから合成動きベクトルＭＶが指し示すフィールド１０２の注視領域Ｒおよび注視対象（選手Ｐ）を同時に特定することができる。
　図１３は、注視領域の面積の計算例を示す説明図である。図１３では、注視領域Ｒを矩形とする。観客Ａが注視領域を注視する場合、観客Ａのフィールド１０２からの高さをｈ、観客Ａをフィールド１０２上に投影した場合の注視領域Ｒまでの距離をＬ、注視領域Ｒの直交する２辺の長さをｘ、ｙとした場合、ｘは下記式（１）、ｙは下記式（２）であらわされる。ただし、θ±は下記式（３）、観客Ａから注視領域Ｒまでの距離Ｄは下記式（４）であらわされる（ただし、ｙａｗ角θｙａｗ、ｐｉｔｃｈ角θｐｉｔｃｈは、図１３の凡例を参照。）。
Figure JPOXMLDOC01-appb-M000001
　また、注視領域Ｒの面積Ｓは、Ｓ＝ｘ・ｙである。これにより、特定部３０２は、観客Ａから注視領域Ｒまでの距離Ｄや注視領域Ｒの面積Ｓを特定することができ、距離Ｄおよび面積Ｓにより注視領域Ｒ上の注視対象（たとえば、選手Ｐ）を特定することができる。なお、ここでは、ある観客Ａを基準にしたが、観客群４０１の場合は合成動きベクトルＭＶの始端位置を観客Ａの位置としてよい。
　＜制御処理手順例＞
　図１４は、制御装置１１０による制御処理手順例を示すフローチャートである。制御装置１１０は、観客カメラＡＣからの映像データとフィールドカメラＦＣからの映像データを取得しているものとする。制御装置１１０は、選択部３０５により、第１観客カメラ選択処理を実行して視線方向を検出するための観客カメラＡＣを選択する（ステップＳ１４０１）。つぎに、制御装置１１０は、検出部３０１により、選択した観客カメラＡＣからの映像データを解析して、視線方向を検出する（ステップＳ１４０２）。
　つぎに、制御装置１１０は、特定部３０２により、検出した視線方向のベクトルを用いて、特定処理を実行して注視領域および注視対象を特定する（ステップＳ１４０３）。そして、制御装置１１０は、複数のフィールドカメラＦＣから注視対象を撮影しているフィールドカメラＦＣを決定する（ステップＳ１４０４）。
　このあと、制御装置１１０は、送信部３０４により、決定したフィールドカメラＦＣからの映像データを電波塔２１０またはインターネット２００を介して送信する（ステップＳ１４０５）。これにより、観客群が注視する方向に存在する注視対象に自動的にフィールドカメラＦＣを切り替えることができる。
　図１５は、図１４に示した選択部３０５による第１観客カメラ選択処理（ステップＳ１４０１）の詳細な処理手順例１を示すフローチャートである。制御装置１１０は、選択部３０５により、観客カメラＡＣごとに観客数を示すスコアを算出する（ステップＳ１５０１）。つぎに、制御装置１１０は、選択部３０５により、上述したように、算出したスコアに基づいて観客カメラＡＣを選択する（ステップＳ１５０２）。
　たとえば、制御装置１１０は、しきい値以上のスコアまたは相対的に高いスコアの観客カメラＡＣを選択する。なお、ステップＳ１５０２の選択では、制御装置１１０は、しきい値以上のスコアまたは相対的に高いスコアの観客カメラＡＣが存在する場合に、その観客カメラＡＣを確率的に（たとえば、７０％の確率で）選択してもよい。
　つぎに、制御装置１１０は、選択部３０５により、しきい値以上のスコアまたは相対的に高いスコアの観客カメラＡＣが選択されたか否かを判断する（ステップＳ１５０３）。しきい値以上のスコアまたは相対的に高いスコアの観客カメラＡＣが選択された場合（ステップＳ１５０３：Ｙｅｓ）、ステップＳ１４０２に移行する。この場合、制御装置１１０は、検出部３０１により、観客群４０１の合成動きベクトルＭＶを視線方向として検出することになる。
　一方、しきい値以上のスコアまたは相対的に高いスコアの観客カメラＡＣが選択されなかった場合（ステップＳ１５０３：Ｎｏ）、制御装置１１０は、選択部３０５により、第２観客カメラ選択処理を実行して（ステップＳ１５０４）、ステップＳ１４０２に移行する。第２観客カメラ選択処理（ステップＳ１５０４）では、観客群４０２の中の特定の観客Ａ８を選択する処理である。この場合、制御装置１１０は、検出部３０１により、特定の観客Ａ８の動きベクトルｍｖを視線方向として検出することになる。
　図１６は、図１４に示した選択部３０５による第１観客カメラ選択処理（ステップＳ１４０１）の詳細な処理手順例２を示すフローチャートである。図１６では、図１５と同一処理については同一ステップ番号を付し、その説明を省略する。制御装置１１０は、特定部３０２により、前回特定部３０２によって特定された注視対象とその注視領域を特定し、特定した注視領域と各観客カメラＡＣとの位置関係により、図５～図７に示したように、観客カメラＡＣを特定する（ステップＳ１６０２）。
　ステップＳ１６０２で特定される観客カメラＡＣは複数でもよい。たとえば、注視対象である選手Ｐがエリア１０２ＡＣにいる場合、エリア１０２ＡＣに近い観客カメラＡＣ－Ａ，ＡＣ－Ｃが特定される。このあと、図１５に示したように、ステップＳ１６０２で特定した観客カメラＡＣについて、ステップＳ１５０１～Ｓ１５０４が実行される。これにより、注視対象の位置に近い観客カメラＡＣが選択されやすくなり、視線方向の検出感度の向上を図ることができる。
　図１７は、図１５に示した第２観客カメラ選択処理（ステップＳ１５０４）の詳細な処理手順例１を示すフローチャートである。制御装置１１０は、選択部３０５により、各観客カメラＡＣの映像データからノイズを除去する（ステップＳ１７０１）。つぎに、制御装置１１０は、選択部３０５により、ノイズ除去された各観客カメラＡＣの映像データに特徴的な人物の画像データが存在するか否かを判断する（ステップＳ１７０２）。
　特徴的な人物の画像データが存在する映像データを取得した観客カメラＡＣがある場合（ステップＳ１７０２：Ｙｅｓ）、制御装置１１０は、選択部３０５により、当該観客カメラＡＣを選択して（ステップＳ１７０３）、ステップＳ１４０２に移行する。一方、特徴的な人物の画像データが存在する映像データを取得した観客カメラＡＣがない場合（ステップＳ１７０２：Ｎｏ）、制御装置１１０は、選択部３０５により、スコアが最大の観客カメラＡＣを選択して（ステップＳ１７０４）、ステップＳ１７０４に移行する。
　図１８は、図１５に示した第２観客カメラ選択処理（ステップＳ１５０４）の詳細な処理手順例２を示す説明図である。具体的には、たとえば、制御装置１１０は、選択部３０５により、テレビ１０３の視聴者ＴＡが視聴しているシーンと同じシーンを注視している観客Ａ１１を特定の観客として選択する。
　テレビ１０３の視聴者ＴＡが視聴しているシーンとは、あるフィールドカメラＦＣがその撮影方向ＰＤで撮影している選手Ｐ（注視対象）である。制御装置１１０は、現在放映中のフィールドカメラＦＣの撮影方向ＰＤと逆方向の観客席１０１を特定し、特定した観客席１０１を映す観客カメラＡＣを選択する。そして、選択した観客カメラＡＣにより撮影された観客群４０２（観客Ａ１１，Ａ１２を含む）から動きベクトルｍｖが撮影方向ＰＤと同じまたは方向のずれが許容範囲内の角度であれば、観客Ａ１１を特定の観客として選択する。
　図１９は、図１５に示した第２観客カメラ選択処理（ステップＳ１５０４）の詳細な処理手順例２を示すフローチャートである。制御装置１１０は、選択部３０５により、現在の映像データを撮影したフィールドカメラＦＣの撮影方向を特定し（ステップＳ１９０１）、特定した撮影方向の逆方向の観客席１０１を特定し（ステップＳ１９０２）、特定した観客席１０１を撮影可能な観客カメラＡＣを選択する（ステップＳ１９０３）。これにより、テレビ１０３の視聴者ＴＡが視聴しているシーンと同じシーンを注視している観客Ａ１１を特定の観客として選択することができ、特定の観客の推定精度の向上を図ることができる。
　図２０は、図１４に示した特定処理（ステップＳ１４０３）の詳細な処理手順例を示すフローチャートである。制御装置１１０は、特定部３０２により、図１１～図１３に示したように、ステップＳ１４０２で得られた視線方向からフィールド１０２上の注視領域を特定する（ステップＳ２００１）。つぎに、制御装置１１０は、特定部３０２により、図１１～図１３に示したように、ステップＳ２００１で特定した注視領域内の注視対象（たとえば、選手Ｐ）を特定する（ステップＳ２００２）。
　なお、図１１の例の場合は、制御装置１１０は、フィールドカメラＦＣの映像データを用いて、ステップＳ２００１で特定した注視領域内の注視対象（たとえば、選手Ｐ）を特定する。これにより、視線方向の先にいる注視対象を高精度に特定することができる。また、図１２の例の場合は、制御装置１１０は、全天球型カメラの映像データを用いて、ステップＳ２００１で特定した注視領域内の注視対象（たとえば、選手Ｐ）を特定することになる。
　これにより、１台の全天球型カメラからの映像データにより、注視領域および注視対象（選手Ｐ）を同時に特定することができ、より特性精度の向上を図ることができる。またこれにより、処理速度の向上や検出頻度の上昇を図ることができる。このように、制御装置１１０は、１台のカメラの映像データを用いて注視領域、あるいは注視領域Ｒ内の注視対象を特定してもよい。
（１）以上説明したように、本実施例にかかる制御装置１１０は、施設（たとえば、スタジアム１００）に関する設計情報を記憶するデータベース１２０と、施設内の第１領域（たとえば、観客席１０１）の第１被写体を撮影する複数の第１カメラ（たとえば、観客カメラ群ＡＣｓ）と、施設内の第２領域（たとえば、フィールド１０２）の第２被写体を撮影する複数の第２カメラ（たとえば、フィールドカメラ群ＦＣｓ）と、にアクセス可能である。
　制御装置１１０は、検出部３０１と、特定部３０２と、決定部３０３と、送信部３０４と、を有する。検出部３０１は、複数の第１カメラのうちいずれかの第１カメラによって撮影された第１被写体の映像データに基づいて、第１被写体内の観客群４０１の視線方向を検出する。
　特定部３０２は、検出部３０１によって検出された観客群４０１の視線方向に基づいて、観客群４０１の第２領域内の注視領域Ｒを特定し、複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、注視領域Ｒ内に存在する観客群の注視対象を特定する。決定部３０３は、特定部３０２によって特定された注視対象に基づいて、複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する。送信部３０４は、決定部３０３によって決定された特定の第２カメラからの映像データを送信する。
　これにより、決定された第２カメラ（フィールドカメラＦＣ）からの映像データが、テレビ１０３やパーソナルコンピュータ１０４に放送または配信される。したがって、第２カメラ（フィールドカメラＦＣ）の切替の自動化を図ることができる。
（２）また、上記（１）の制御装置１１０は、複数の第１カメラの各々が撮影した第１被写体内の観客群４０１の人数の多さを示すスコアに基づいて、複数の第１カメラの中から特定の第１カメラを選択する選択部３０５を有する。
　これにより、検出部３０１は、特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、特定の第１被写体内の特定の観客群４０１の視線方向を検出し、特定部３０２は、検出部３０１によって検出された特定の観客群４０１の視線方向に基づいて、特定の観客群４０１の注視領域Ｒを特定する。したがって、観客数の多さに応じて、第２カメラ（フィールドカメラＦＣ）の切替の自動化を図ることができる。
（３）また、上記（２）の制御装置１１０において、選択部３０５は、観客群４０１と注視領域Ｒとの位置関係に基づいて、特定の第１カメラを選択してもよい。これにより、視線方向の検出感度を考慮して、特定の第１カメラ（フィールドカメラＦＣ）を特定することができる。
（４）また、上記（２）の制御装置１１０において、選択部３０５は、スコアが所定のしきい値以上となる第１カメラを特定の第１カメラとして選択してもよい。これにより、観客人数が絶対的に多いと評価された第１カメラからの映像データにより、当該観客群４０１の視線方向を検出することができる。したがって、多数の観客が注視している注視領域や注視対象を撮影する第２カメラに自動で切り替えることができ、その結果、視聴者は、多数の観客が注視している注視領域Ｒや注視対象を試聴することができる。
（５）また、上記（２）の制御装置１１０において、選択部３０５は、複数の第１カメラのスコアの中で相対的に高いスコアの第１カメラを特定の第１カメラとして選択してもよい。これにより、観客人数が相対的に多いと評価された第１カメラからの映像データにより、当該観客群４０１の視線方向を検出することができる。したがって、多数の観客が注視している注視領域や注視対象を撮影する第２カメラに自動で切り替えることができ、その結果、視聴者は、多数の観客が注視している注視領域Ｒや注視対象を試聴することができる。
（６）また、上記（２）の制御装置１１０において、選択部３０５は、スコアが所定のしきい値未満となる第１カメラを特定の第１カメラとして選択してもよい。これにより、観客人数が絶対的に少ないと評価された第１カメラからの映像データにより、当該観客群４０２の視線方向を検出することができる。したがって、少数の観客が注視している注視領域や注視対象を撮影する第２カメラに自動で切り替えることができ、その結果、視聴者は、少数の観客が注視している注視領域Ｒや注視対象を試聴することができる。すなわち、多数の観客が注視できなかった注視領域Ｒや注視対象の映像データに自動で切り替えることができる。
（７）また、上記（２）の制御装置１１０において、選択部３０５は、複数の第１カメラのスコアの中で相対的に低いスコアの第１カメラを特定の第１カメラとして選択してもよい。これにより、観客人数が相対的に少ないと評価された第１カメラからの映像データにより、当該観客群４０２の視線方向を検出することができる。したがって、少数の観客が注視している注視領域や注視対象を撮影する第２カメラに自動で切り替えることができ、その結果、視聴者は、少数の観客が注視している注視領域Ｒや注視対象を試聴することができる。すなわち、多数の観客が注視できなかった注視領域Ｒや注視対象の映像データに自動で切り替えることができる。
（８）また、上記（６）または（７）の制御装置１１０において、検出部３０１は、特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、特定の第１被写体内の特定の観客群４０２の中の特定の観客の視線方向を検出してもよい。これにより、特定部３０２は、検出部３０１によって検出された特定の観客Ａ８の視線方向に基づいて、特定の観客Ａ８の注視領域Ｒを特定する。
　したがって、観客人数が絶対的または相対的に少ないと評価された場合に、視聴者は、特定の観客が注視している注視領域Ｒや注視対象を試聴することができる。観客人数が少なくても観戦している観客は、優良なファンである可能性が高いため、そのような観客目線で視聴者が注視している注視領域Ｒおよび注視対象に第２カメラを切り替えることで、玄人目線での映像データを視聴者に提供することができる。
（９）また、上記（８）の制御装置１１０において、検出部３０１は、特定の第１被写体の映像データに基づいて、特定の観客群４０２のうち非注視行動をとっている観客Ａ１、Ａ２以外の残余の観客Ａ３～Ａ８から特定の観客Ａ８を選択して、特定の観客Ａ８の視線方向を検出してもよい。これにより、中止に関与していないノイズを除去し、視線方向の検出の高精度化を図ることができる。
（１０）また、上記（８）の制御装置１１０において、データベース１２０は、特徴的な人物に関する画像データ（特徴人物情報１２６）を記憶しており、検出部３０１は、特定の第１被写体の映像データに基づいて、特定の観客群４０２から特徴的な人物を特定の観客として検出し、特定の観客Ａ８の視線方向を検出してもよい。
　これにより、特徴的な人物とのマッチングにより、特定の観客の検出精度の向上を図ることができる。したがって、そのような観客目線で視聴者が注視している注視領域Ｒおよび注視対象に第２カメラを切り替えることで、玄人目線での映像データを視聴者に提供することができる。
（１１）また、上記（６）または（７）の制御装置１１０において、検出部３０１は、決定部３０３によって決定された特定の第２カメラの撮影方向と、特定の観客群４０１の各々の視線方向と、に基づいて、特定の観客Ａ１１の視線方向を検出してもよい。これにより、視聴者が視聴している映像データと同じ注視領域Ｒおよび注視対象を注視している観客を特定することができるため、より観客目線でのシーンに切り替えることができる。
（１２）また、上記（１）の制御装置１１０において、第１カメラは、第１領域（観客席１０１）および第２領域（フィールド１０２）を撮影可能なカメラ（たとえば、全天球型カメラ１２００）であり、検出部３０１は、いずれかの第１カメラによって撮影された第１被写体および第２被写体を含む映像データに基づいて、観客群４０１の視線方向を検出し、特定部３０２は、検出部３０１によって検出された観客群４０１の視線方向に基づいて、観客群４０１の第２領域内の注視領域Ｒおよび注視領域Ｒ内に存在する観客群４０１の注視対象を特定してもよい。
　これにより、第１カメラの映像データにより、注視領域Ｒおよび注視対象が特定されるため、第２カメラの映像データに依存しない。したがって、注視領域Ｒおよび注視対象の特定精度の向上を図ることができる。また、第２カメラで注視対象を特定する必要がなくなり、処理の高速化を図ることができる。
（１３）また、上記（１）の制御装置１１０において、決定部３０３は、観客群４０１と注視領域Ｒとの位置関係に基づいて、特定の第２カメラを決定してもよい。これにより、観客群４０１と注視領域Ｒとの位置関係を考慮して、様々な撮影方向の第２カメラに自動的に切り替えることができる。
　たとえば、上記位置関係が観客群４０１と注視領域Ｒとが近い距離の関係にある場合には、観客群４０１が注視している環境での映像データを配信することができ、視聴者からみれば観客群４０１に近い視点で同じ注視対象を視聴することができる。また、上記位置関係が観客群４０１と注視領域Ｒとが離れた距離の関係にある場合には、観客群４０１が注視している方向とは異なる角度からの映像データを配信することができ、視聴者からみれば観客群４０１とは別視点で同じ注視対象を視聴することができる。
（１４）また、上記（１）の制御装置１１０において、決定部３０３は、注視対象の認識結果に基づいて、特定の第２カメラを決定してもよい。これにより、観客群４０１基準ではなく、たとえば、注視対象である選手Ｐの顔が見える撮影方向の第２カメラに決定することで、視聴者は、第２カメラの切替後のシーンで選手Ｐを正面から視聴することができる。
（１５）また、上記（１）の制御装置１１０において、送信部３０４は、特定の第２カメラが撮影した画像データまたは画像データの保存先を示す情報を、観客群４０１のうち少なくとも１人の観客Ａの通信端末３００に送信してもよい。これにより、第２カメラの切替後のシーンは、決定的な瞬間である場合があるため、そのようなシーンでは観客群４０１は注視することに集中してカメラ撮影をしていないと考えられる。したがって、そのような観客群４０１に切替後のシーンの静止画データを、当該観客群４０１の通信端末３００に送信することにより、観客群４０１が撮影できなかった決定的な静止画データを、当該観客群４０１に提供することができる。
（１６）また、本実施例にかかる制御システム１は、施設（たとえば、スタジアム１００）に関する設計情報を記憶するデータベース１２０と、施設内の第１領域（たとえば、観客席１０１）の第１被写体を撮影する複数の第１カメラ（たとえば、観客カメラ群ＡＣｓ）と、施設内の第２領域（たとえば、フィールド１０２）の第２被写体を撮影する複数の第２カメラ（たとえば、フィールドカメラ群ＦＣｓ）と、これらにアクセス可能な制御装置１１０と、を有する。
　制御装置１１０は、検出部３０１と、特定部３０２と、決定部３０３と、送信部３０４と、を有する。検出部３０１は、複数の第１カメラのうちいずれかの第１カメラによって撮影された第１被写体の映像データに基づいて、第１被写体内の観客群４０１の視線方向を検出する。
　特定部３０２は、検出部３０１によって検出された観客群４０１の視線方向に基づいて、観客群４０１の第２領域内の注視領域Ｒを特定し、複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、注視領域Ｒ内に存在する観客群の注視対象を特定する。決定部３０３は、特定部３０２によって特定された注視対象に基づいて、複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する。送信部３０４は、決定部３０３によって決定された特定の第２カメラからの映像データを送信する。
　これにより、決定された第２カメラ（フィールドカメラＦＣ）からの映像データが、テレビ１０３やパーソナルコンピュータ１０４に放送または配信される。したがって、第２カメラ（フィールドカメラＦＣ）の切替の自動化を図ることができる。
（１７）また、本実施例にかかる制御プログラムは、施設（たとえば、スタジアム１００）に関する設計情報を記憶するデータベース１２０と、施設内の第１領域（たとえば、観客席１０１）の第１被写体を撮影する複数の第１カメラ（たとえば、観客カメラ群ＡＣｓ）と、施設内の第２領域（たとえば、フィールド１０２）の第２被写体を撮影する複数の第２カメラ（たとえば、フィールドカメラ群ＦＣｓ）と、にアクセス可能なプロセッサ２０１に実行させる。
　制御プログラムは、プロセッサ２０１に、検出処理と、特定処理と、決定処理と、送信処理と、を実行させる。制御プログラムは、検出処理では、プロセッサ２０１に、複数の第１カメラのうちいずれかの第１カメラによって撮影された第１被写体の映像データに基づいて、第１被写体内の観客群４０１の視線方向を検出させる。
　制御プログラムは、特定処理では、プロセッサ２０１に、検出処理によって検出された観客群４０１の視線方向に基づいて、観客群４０１の第２領域内の注視領域Ｒを特定し、複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、注視領域Ｒ内に存在する観客群の注視対象を特定させる。
　制御プログラムは、決定処理では、プロセッサ２０１に、特定処理によって特定された注視対象に基づいて、複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定させる。制御プログラムは、送信処理では、プロセッサ２０１に、決定処理によって決定された特定の第２カメラからの映像データを送信させる。
　これにより、決定された第２カメラ（フィールドカメラＦＣ）からの映像データが、テレビ１０３やパーソナルコンピュータ１０４に放送または配信される。したがって、第２カメラ（フィールドカメラＦＣ）の切替の自動化をソフトウェアにより実現することができる。
　また、第２カメラが切り替わってから所定時間経過するまでは切り替わらないように制約条件を設定してもよい。また、切替前の映像データと切替後の第２カメラとの関係を学習してデータベース１２０に蓄積しておき、第２カメラの切替の際には、制御装置１１０は、その学習内容を参照して、第２カメラを決定してもよい。これにより、第２カメラの決定精度の向上を図ることができる。
　また、上述した実施例では、制御装置１１０は、過去の同種競技の撮影データ（たとえば、ディレクターの技法に関する情報）を用いてもよい。具体的には、たとえば、制御装置１１０は、当該撮影データを機械学習することにより、最適なカット位置に関する規則を学習することができ、視線方向の検出精度の向上を図ることができる。
　また、フィールドカメラＦＣは、自動シャッター機能を有してもよい。具体的には、たとえば、観客群の視線方向先の対象が静的な場合に対しても適用可能である。
　図２１は、フィールドカメラＦＣの自動シャッター機能の説明図である。たとえば、制御装置１１０は、フィールドカメラＦＣの映像データを参照して、その被写体である選手Ｐの視線方向を検出する。選手Ｐの視線方向が視線方向ｄ１からフィールドカメラへの視線方向ｄ２に切り替わった場合に、フィールドカメラＦＣは、シャッターを切り、選手Ｐを主要被写体とする静止画データ２１００を撮像する。これにより、選手Ｐによるカメラ目線の静止画データを自動で得ることができる。
　また、観客群の視線方向先の対象が、動かない静的なもの、たとえば、陳列されている商品である場合に、本実施例は適用可能である。
　図２２は、マーケティングへの応用例を示す説明図である。群衆２２０１は、商品の陳列棚を注視しており、制御装置１１０は、観客カメラＡＣにより群衆２２０１を撮影し、撮影データから群衆２２０１内の各人の視線方向を示す視線ベクトルを検出し、合成視線ベクトルを生成する。
　制御装置１１０は、陳列棚２２００に陳列されている商品群のうち、合成視線ベクトルによって指し示される商品を特定し（以下、特定の商品）、特定の商品の売り上げ個数、合成視線ベクトルによって指定されているときの売上個数、合成視線ベクトルによって指定されていないときの売上個数、合成視線ベクトルによって指定されているときに選択されなかった回数、といった統計情報を管理する。このように、注目度の高い商品や低い商品の検出に役立てることができる。
　上述した実施例では、制御装置１１０は、複数の第２カメラ（フィールドカメラＦＣ）を切り替える例を説明したが、１台または複数の第１カメラ（観客カメラＡＣ）の映像データを用いて注視領域Ｒ、あるいは注視領域Ｒ内の注視対象を特定して、１台の第２カメラ（フィールドカメラＦＣ）を制御することとしてもよい。第２カメラ（フィールドカメラＦＣ）を制御する制御部は、たとえば、特定した注視領域Ｒ、あるいは特定した注視領域Ｒ内の注視対象の方向に第２カメラ（フィールドカメラＦＣ）を向ける制御を実行する。
　上述した実施例では、制御装置１１０は、複数のフィールドカメラＦＣを切り替える例を説明したが、１台または複数の観客カメラＡＣの映像データを用いて注視領域Ｒ、あるいは注視領域Ｒ内の注視対象を特定して、１台のフィールドカメラＦＣの撮影により生成された画像を処理することとしてもよい。制御装置１１０は、たとえば、１台のフィールドカメラＦＣの撮影により生成された画像から、特定した注視領域Ｒ、あるいは特定した注視領域Ｒ内の注視対象を含む部分画像の領域を特定する。そして、制御装置１１０は、特定した部分画像を放送（送信）することとしてもよい。
また、制御装置１１０は、１台のカメラで観客が存在する第１領域と、注視対象が存在する第２領域とを撮影した被写体の画像を処理することとしてもよい。制御装置１１０は、たとえば、１台のカメラの撮影により生成された画像から、注視領域Ｒ、あるいは注視領域Ｒ内の注視対象を特定し、特定した注視対象を含む部分画像の領域を特定する。そして、制御装置１１０は、特定した部分画像を放送（送信）することとしてもよい。
ＡＣ　観客カメラ、ＦＣ　フィールドカメラ、ＭＶ　合成動きベクトル、ｍｖ　動きベクトル、Ｐ　選手、Ｒ　注視領域、１　制御システム、１０１　観客席、１０２　フィールド、１１０　制御装置、１２０　データベース、３０１　検出部、３０２　特定部、３０２　特定部、３０３　決定部、３０４　送信部、３０５　選択部

Claims (22)

  1. 　施設内の第１領域の第１被写体を撮影する複数の第１カメラと、前記施設内の第２領域の第２被写体を撮影する複数の第２カメラと、にアクセス可能な制御装置であって、
    　前記複数の第１カメラのうちいずれかの第１カメラによって撮影された前記第１被写体の映像データに基づいて、前記第１被写体内の観客群の視線方向を検出する検出部と、
    　前記検出部によって検出された前記観客群の視線方向に基づいて、前記観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記観客群の注視対象を特定する特定部と、
    　前記特定部によって特定された注視対象に基づいて、前記複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定部と、
    　前記決定部によって決定された特定の第２カメラからの映像データを送信する送信部と、
    　を有する制御装置。
  2. 　請求項１に記載の制御装置であって、
    　前記複数の第１カメラの各々が撮影した前記第１被写体内の観客群の人数の多さを示すスコアに基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択部を有し、
    　前記検出部は、前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の視線方向を検出し、
    　前記特定部は、前記検出部によって検出された前記特定の観客群の視線方向に基づいて、前記特定の観客群の注視領域を特定する、制御装置。
  3. 　請求項２に記載の制御装置であって、
    　前記選択部は、前記観客群と前記注視領域との位置関係に基づいて、前記特定の第１カメラを選択する、制御装置。
  4. 　請求項２に記載の制御装置であって、
    　前記選択部は、前記スコアが所定のしきい値以上となる第１カメラを前記特定の第１カメラとして選択する、制御装置。
  5. 　請求項２に記載の制御装置であって、
    　前記選択部は、前記複数の第１カメラのスコアの中で相対的に高いスコアの第１カメラを前記特定の第１カメラとして選択する、制御装置。
  6. 　請求項２に記載の制御装置であって、
    　前記選択部は、前記スコアが所定のしきい値未満となる第１カメラを前記特定の第１カメラとして選択する、制御装置。
  7. 　請求項２に記載の制御装置であって、
    　前記選択部は、前記複数の第１カメラのスコアの中で相対的に低いスコアの第１カメラを前記特定の第１カメラとして選択する、制御装置。
  8. 　請求項６または７に記載の制御装置であって、
    　前記検出部は、前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の中の特定の観客の視線方向を検出し、
    　前記特定部は、前記検出部によって検出された前記特定の観客の視線方向に基づいて、前記特定の観客の注視領域を特定する、制御装置。
  9. 　請求項８に記載の制御装置であって、
    　前記検出部は、前記特定の第１被写体の映像データに基づいて、前記特定の観客群のうち非注視行動をとっている観客以外の残余の観客から前記特定の観客を選択して、特定の観客の視線方向を検出する、制御装置。
  10. 　請求項８に記載の制御装置であって、
    　特徴的な人物に関する画像データを記憶するデータベースにアクセス可能であり、
    　前記検出部は、前記特定の第１被写体の映像データに基づいて、前記特定の観客群から前記特徴的な人物を前記特定の観客として検出し、前記特定の観客の視線方向を検出する、制御装置。
  11. 　請求項６または７に記載の制御装置であって、
    　前記検出部は、前記決定部によって決定された特定の第２カメラの撮影方向と、前記特定の観客群の各々の視線方向と、に基づいて、前記特定の観客の視線方向を検出する、制御装置。
  12. 　請求項１に記載の制御装置であって、
    　前記第１カメラは、前記第１領域および前記第２領域を撮影可能なカメラであり、
    　前記検出部は、前記いずれかの第１カメラによって撮影された前記第１被写体および前記第２被写体を含む映像データに基づいて、前記観客群の視線方向を検出する検出部と、
    　前記特定部は、前記検出部によって検出された前記観客群の視線方向に基づいて、前記観客群の前記第２領域内の注視領域および前記注視領域内に存在する前記観客群の注視対象を特定する、制御装置。
  13. 　請求項１に記載の制御装置であって、
    　前記決定部は、前記観客群と前記注視領域との位置関係に基づいて、前記特定の第２カメラを決定する、制御装置。
  14. 　請求項１に記載の制御装置であって、
    　前記決定部は、前記注視対象の認識結果に基づいて、前記特定の第２カメラを決定する、制御装置。
  15. 　請求項１に記載の制御装置であって、
    　前記送信部は、前記特定の第２カメラが撮影した画像データまたは前記画像データの保存先を示す情報を、前記観客群のうち少なくとも１人の観客の通信端末に送信する、制御装置。
  16. 　施設内の第１領域の第１被写体を撮影する第１カメラと、前記施設内の第２領域の第２被写体を撮影する第２カメラと、にアクセス可能な制御装置であって、
    　前記第１カメラによって撮影された前記第１被写体の映像データに基づいて、前記第１被写体内の観客群の視線方向を検出する検出部と、
    　前記検出部によって検出された前記観客群の視線方向に基づいて、前記観客群の前記第２領域内の注視領域を特定する特定部と、
    　前記特定部の特定結果に基づいて、前記第２カメラの撮影を制御する制御部と、
    　を有する制御装置。
  17. 　施設内の第１領域の被写体を撮影する第１カメラと、前記施設内の第２領域の異なる被写体をそれぞれ撮影する複数の第２カメラと、にアクセス可能な制御装置であって、
    　前記第１カメラによって撮影された被写体の映像データに基づいて、前記第１領域内の人物の視線方向を検出する検出部と、
    　前記検出部によって検出された前記人物の視線方向に基づいて、前記複数の第２カメラの中から特定被写体を撮影している第２カメラを決定する決定部と、
    　を有する制御装置。
  18. 　施設内の第１領域の被写体を撮影する第１カメラと、前記施設内の第２領域の被写体を撮影する第２カメラと、にアクセス可能な制御装置であって、
    　前記第１カメラによって撮影された前記被写体の映像データに基づいて、被写体内の人物の視線方向を検出する検出部と、
    　前記検出部によって検出された前記人物の視線方向に基づいて、前記第２カメラで撮影された映像の表示領域を決定する決定部と、
    　を有する制御装置。
  19. 　施設内の第１領域の被写体と、前記施設内の第２領域の被写体と、を撮影するカメラにアクセス可能な制御装置であって、
    　前記カメラによって撮影された前記被写体の映像データに基づいて、被写体内の人物の視線方向を検出する検出部と、
    　前記検出部によって検出された前記人物の視線方向に基づいて、前記カメラで撮影された映像の表示領域を決定する決定部と、
    　を有する制御装置。
  20. 　施設内の第１領域の第１被写体を撮影する複数の第１カメラと、前記施設内の第２領域の第２被写体を撮影する複数の第２カメラと、前記複数の第１カメラおよび前記複数の第２カメラにアクセス可能な制御装置と、を有する制御システムであって、
    　前記制御装置は、
    　前記複数の第１カメラのうちいずれかの第１カメラによって撮影された前記第１被写体の映像データに基づいて、前記第１被写体内の観客群の視線方向を検出する検出部と、
    　前記検出部によって検出された前記観客群の視線方向に基づいて、前記観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記観客群の注視対象を特定する特定部と、
    　前記特定部によって特定された注視対象に基づいて、前記複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定部と、
    　前記決定部によって決定された特定の第２カメラからの映像データを送信する送信部と、
    　を有する制御システム。
  21. 　施設内の第１領域の第１被写体を撮影する複数の第１カメラと、前記施設内の第２領域の第２被写体を撮影する複数の第２カメラと、にアクセス可能なプロセッサに、
    　前記複数の第１カメラのうちいずれかの第１カメラによって撮影された前記第１被写体の映像データに基づいて、前記第１被写体内の観客群の視線方向を検出する検出処理と、
    　前記検出処理によって検出された前記観客群の視線方向に基づいて、前記観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記観客群の注視対象を特定する特定処理と、
    　前記特定処理によって特定された注視対象に基づいて、前記複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定処理と、
    　前記決定処理によって決定された特定の第２カメラからの映像データを送信する送信処理と、
    　を実行させる制御プログラム。
  22. 　施設内の第１領域の第１被写体を撮影する第１カメラと、前記施設内の第２領域の第２被写体を撮影する第２カメラと、にアクセス可能なプロセッサに、
    　前記第１カメラによって撮影された前記第１被写体の映像データに基づいて、前記第１被写体内の観客群の視線方向を検出する検出処理と、
    　前記検出処理によって検出された前記観客群の視線方向に基づいて、前記観客群の前記第２領域内の注視領域を特定する特定処理と、
    　前記特定処理の特定結果に基づいて、前記第２カメラの撮影を制御する制御処理と、
    　を実行させる制御プログラム。
PCT/JP2018/038651 2017-10-17 2018-10-17 制御装置、制御システム、および制御プログラム WO2019078248A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP18867732.2A EP3713211B1 (en) 2017-10-17 2018-10-17 Control apparatus control program
JP2019549317A JP7375542B2 (ja) 2017-10-17 2018-10-17 制御装置、制御システム、および制御プログラム
US16/756,882 US11575825B2 (en) 2017-10-17 2018-10-17 Control apparatus, control system, and control program
US18/093,118 US20230164424A1 (en) 2017-10-17 2023-01-04 Control apparatus, control system, and control program
JP2023184234A JP2024001268A (ja) 2017-10-17 2023-10-26 制御装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-201190 2017-10-17
JP2017201190 2017-10-17

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/756,882 A-371-Of-International US11575825B2 (en) 2017-10-17 2018-10-17 Control apparatus, control system, and control program
US18/093,118 Continuation US20230164424A1 (en) 2017-10-17 2023-01-04 Control apparatus, control system, and control program

Publications (1)

Publication Number Publication Date
WO2019078248A1 true WO2019078248A1 (ja) 2019-04-25

Family

ID=66174075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038651 WO2019078248A1 (ja) 2017-10-17 2018-10-17 制御装置、制御システム、および制御プログラム

Country Status (4)

Country Link
US (2) US11575825B2 (ja)
EP (1) EP3713211B1 (ja)
JP (2) JP7375542B2 (ja)
WO (1) WO2019078248A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115136578A (zh) * 2020-03-25 2022-09-30 宝马股份公司 用于控制摄像机的方法和控制单元
EP4390886A1 (en) 2022-12-23 2024-06-26 Canon Kabushiki Kaisha Information processing apparatus, image capturing apparatus, information processing method, and storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004129264A (ja) * 2002-09-30 2004-04-22 Eastman Kodak Co イベント内容を編成する方法、主要および副次チャンネルを処理する方法、並びにコンピュータプログラム製品
JP2008005208A (ja) 2006-06-22 2008-01-10 Nec Corp スポーツ競技におけるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラム
US20130176438A1 (en) * 2012-01-06 2013-07-11 Nokia Corporation Methods, apparatuses and computer program products for analyzing crowd source sensed data to determine information related to media content of media capturing devices
US20140240352A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Content delivery system with augmented reality mechanism and method of operation thereof
WO2016088437A1 (ja) * 2014-12-04 2016-06-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2016213808A (ja) * 2015-04-29 2016-12-15 パナソニックＩｐマネジメント株式会社 カメラ選択方法及び映像配信システム
JP2017112431A (ja) * 2015-12-14 2017-06-22 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
JP2017201190A (ja) 2016-05-06 2017-11-09 日動電工株式会社 長尺体取付け治具及びそれを用いた長尺体の取付け工法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100367A (ja) * 2003-09-02 2005-04-14 Fuji Photo Film Co Ltd 画像生成装置、画像生成方法、及び画像生成プログラム
JP2005100364A (ja) * 2003-09-03 2005-04-14 Nippon Telegr & Teleph Corp <Ntt> コンテンツ配信システム
US9852329B2 (en) * 2015-07-24 2017-12-26 International Business Machines Corporation Calculation of a characteristic of a hotspot in an event
JP2017188715A (ja) * 2016-04-01 2017-10-12 富士通フロンテック株式会社 映像表示システム及び映像表示方法
US20180077345A1 (en) * 2016-09-12 2018-03-15 Canon Kabushiki Kaisha Predictive camera control system and method
US10789764B2 (en) * 2017-05-31 2020-09-29 Live Cgi, Inc. Systems and associated methods for creating a viewing experience
US10803618B2 (en) * 2018-06-28 2020-10-13 Intel Corporation Multiple subject attention tracking

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004129264A (ja) * 2002-09-30 2004-04-22 Eastman Kodak Co イベント内容を編成する方法、主要および副次チャンネルを処理する方法、並びにコンピュータプログラム製品
JP2008005208A (ja) 2006-06-22 2008-01-10 Nec Corp スポーツ競技におけるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラム
US20130176438A1 (en) * 2012-01-06 2013-07-11 Nokia Corporation Methods, apparatuses and computer program products for analyzing crowd source sensed data to determine information related to media content of media capturing devices
US20140240352A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Content delivery system with augmented reality mechanism and method of operation thereof
WO2016088437A1 (ja) * 2014-12-04 2016-06-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2016213808A (ja) * 2015-04-29 2016-12-15 パナソニックＩｐマネジメント株式会社 カメラ選択方法及び映像配信システム
JP2017112431A (ja) * 2015-12-14 2017-06-22 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
JP2017201190A (ja) 2016-05-06 2017-11-09 日動電工株式会社 長尺体取付け治具及びそれを用いた長尺体の取付け工法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115136578A (zh) * 2020-03-25 2022-09-30 宝马股份公司 用于控制摄像机的方法和控制单元
CN115136578B (zh) * 2020-03-25 2024-04-09 宝马股份公司 用于控制摄像机的方法和控制单元
EP4390886A1 (en) 2022-12-23 2024-06-26 Canon Kabushiki Kaisha Information processing apparatus, image capturing apparatus, information processing method, and storage medium

Also Published As

Publication number Publication date
JP7375542B2 (ja) 2023-11-08
US11575825B2 (en) 2023-02-07
JP2024001268A (ja) 2024-01-09
EP3713211A4 (en) 2021-10-06
US20210203837A1 (en) 2021-07-01
EP3713211B1 (en) 2023-10-04
JPWO2019078248A1 (ja) 2020-11-19
US20230164424A1 (en) 2023-05-25
EP3713211A1 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
US10152826B2 (en) Augmented reality display system, terminal device and augmented reality display method
EP3451681B1 (en) Information processing device, control method of information processing device, and program
JP6621063B2 (ja) カメラ選択方法及び映像配信システム
JP4835898B2 (ja) 映像表示方法および映像表示装置
US11006089B2 (en) Information processing apparatus and information processing method
JP2024001268A (ja) 制御装置
US20120133754A1 (en) Gaze tracking system and method for controlling internet protocol tv at a distance
US20170171570A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium
JP4389901B2 (ja) スポーツ競技におけるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラム
JP6077655B2 (ja) 撮影システム
US10764493B2 (en) Display method and electronic device
WO2021139728A1 (zh) 全景视频处理方法、装置、设备及存储介质
US11244423B2 (en) Image processing apparatus, image processing method, and storage medium for generating a panoramic image
Pidaparthy et al. Keep your eye on the puck: Automatic hockey videography
JP5370380B2 (ja) 映像表示方法および映像表示装置
EP3062506B1 (en) Image switching method and apparatus
JP2009163639A (ja) オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム
CN110891168A (zh) 信息处理装置、信息处理方法和存储介质
WO2021200184A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2022060900A (ja) 制御装置および学習装置及び制御方法
Wang et al. Personal multi-view viewpoint recommendation based on trajectory distribution of the viewing target
US20230410417A1 (en) Information processing apparatus, information processing method, and storage medium
EP3246793A1 (en) Virtual reality display
US20240078687A1 (en) Information processing apparatus, information processing method, and storage medium
Wang Viewing support system for multi-view videos

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18867732

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019549317

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018867732

Country of ref document: EP

Effective date: 20200518