RU2565243C1

RU2565243C1 - Устройство содействия отслеживанию, система содействия отслеживанию и способ содействия отслеживанию

Info

Publication number: RU2565243C1
Application number: RU2014128335/07A
Authority: RU
Inventors: Такеси ФУДЗИМАЦУ; Соноко ХИРАСАВА; Хироюки ЯМАМОТО
Original assignee: Панасоник Корпорэйшн
Priority date: 2013-07-11
Filing date: 2014-07-10
Publication date: 2015-10-20
Also published as: JP5506990B1; US20150016798A1; GB2516172B; GB2516172A; CN104284147A; DE102014213554A1; CN104284147B; JP2015019249A; GB201412204D0; US9357181B2; DE102014213554B4

Abstract

Изобретение относится к системам безопасности, мониторинга и отслеживания движущегося объекта путем отображения на устройстве отображения экрана мониторинга в реальном времени захваченных изображений. Техническим результатом является обеспечение правильного выполнения процесса содействия, чтобы уменьшать нагрузку на наблюдающего человека и тем самым предоставлять возможность осуществлять мониторинг без потери из вида наблюдаемого человека. Предложено устройство содействия отслеживанию, содержащее: блок задания цели, которая должна отслеживаться, который, в ответ на операцию ввода, выполненную наблюдающим человеком на одном из видов отображения, чтобы назначить движущийся объект, который должен отслеживаться, задает назначенный движущийся объект в качестве цели, которая должна отслеживаться, причем виды отображения отображают захваченные изображения, полученные посредством соответствующих камер и сохраненные в записывающем устройстве; блок выбора камеры, который, на основе информации слежения, полученной посредством обработки захваченных изображений, выбирает любую из камер, которые, как предполагается, должны иметь полученное изображение движущегося объекта, назначенного в качестве цели, которая должна отслеживаться, среди камер, отличных от камеры, соответствующей виду отображения, на котором была назначена цель, которая должна отслеживаться; и блок воспроизведения, который инструктирует отображение захваченных изображений, полученных посредством каждой камеры, выбранной посредством блока выбора камеры, в соответствующем одном из видов отображения. 3 н. и 4 з.п. ф-лы, 14 ил.

Description

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству содействия отслеживанию, системе содействия отслеживанию и способу содействия отслеживанию для содействия наблюдающему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, посредством отображения на устройстве отображения экрана, на котором множество секций отображения размещены так, чтобы отображать захваченные изображения, полученные посредством соответствующих камер и сохраненные в устройстве хранения изображений.

Уровень техники

Некоторые из широко используемых систем наблюдения включают в себя множество камер, установленных в наблюдаемой области, и монитор, приспособленный, чтобы отображать экран наблюдения, на котором множество секций отображения размещены так, чтобы отображать захваченные изображения, полученные посредством соответствующих камер, так что наблюдающий человек может наблюдать за наблюдаемой областью. В такой системе наблюдения, сохраняя захваченные изображение, полученные посредством камер, в записывающем устройстве, возможно предоставлять возможность наблюдающему человеку проверять, после того как противозаконное действие, такое как кража в магазине, было обнаружено, какие действия были выполнены в наблюдаемой области человеком, который совершил противозаконное действие.

В случае, когда наблюдающий человек следит за человеком, наблюдая множество секций отображения на экране, как упомянуто выше, наблюдающему человеку требуется определять секцию отображения, в которой человек появится (или будет отображен) далее, из направления перемещения наблюдаемого человека, но если определение следующей секции отображения занимает слишком много времени, наблюдающий человек может потерять из виду человека, за которым необходимо наблюдать. Следовательно, требуется конфигурация, чтобы уменьшать нагрузку на наблюдающего человека и предоставлять возможность выполнения плавного отслеживания человека.

Что касается такого требования, традиционно известна технология, в которой на основе информации, такой как направление перемещения наблюдаемого человека, выбирается камера, которая будет следующей захватывать изображение человека, и секция отображения, отображающая захваченное изображение, полученное посредством этой камеры, отображается рядом с секцией отображения, в которой наблюдаемый человек виден в настоящее время (ссылка на JP 2005-012415 A). Также известна технология, в которой экран наблюдения отображается так, что экран наблюдения включает в себя изображение карты, представляющее наблюдаемую область, на которой размещены изображения, представляющие камеры (метки камер), и секции отображения для отображения захваченных изображений, полученных посредством камер (ссылка на JP 2010-268186 A).

Процесс выбора камеры, которая будет следующей захватывать изображение наблюдаемого человека, как и в технологии, раскрытой в JP 2005-012415 A, может выполняться на основе информации слежения, полученной посредством устройства обработки слежения, которое следит за движущимся объектом(ами), обнаруженным из захваченных изображений, полученных посредством камер. Однако, если информация слежения включает в себя ошибку, наблюдаемый человек может быть потерян из отслеживания. Таким образом, требуется конфигурация, которая, когда ошибка найдена в информации слежения во время процесса, в котором наблюдающий человек отслеживает человека, глядя на экран, может предоставлять возможность наблюдающему человеку корректировать информацию слежения без наложения значительной нагрузки на наблюдающего человека.

Что касается такого требования, известна технология, в которой устройство слежения сконфигурировано, чтобы выполнять процесс отслеживания с помощью точки интереса, установленной на движущемся объекте, и, если слежение за точкой интереса становится трудным, изменять точку интереса в соответствии с инструкцией корректировки, введенной пользователем (наблюдающим человеком), чтобы, тем самым, продолжать процесс слежения (ссылка на JP 2007-272732 A).

Раскрытие изобретения

В технологии, раскрытой в JP 2005-012415 A, поскольку камера, которая будет следующей захватывать изображение наблюдаемого человека (следующая камера), прогнозируется, и захваченное изображение, полученное посредством этой камеры, отображается, нагрузка на наблюдающего человека может быть уменьшена. Однако, если существует другой человек помимо наблюдаемого человека в захваченном изображении, полученном посредством камеры, которая в настоящее время захватывает изображение наблюдаемого человека, прогнозирование следующей камеры может быть выполнено на основе направления движения другого человека. В таком случае, прогнозирование следующей камеры не выполняется корректно, и это может приводить в результате к тому, что наблюдающий человек теряет из виду наблюдаемого человека.

С другой стороны, в технологии, раскрытой в JP 2010-268186 A, позиционное соотношение между камерами на изображении карты предоставляет возможность наблюдающему человеку прогнозировать до определенной степени секцию отображения, в которой наблюдаемый человек появится далее, и, таким образом, нагрузка на наблюдающего человека может быть отчасти уменьшена. Однако, в случае, когда много секций отображения размещены на экране в соответствии с числом установленных камер, трудно определять секцию отображения, в которой человек, наблюдаемый в настоящее время, появится, быстро и точно среди множества секций отображения, и, таким образом, нагрузка на наблюдающего человека может оставаться все еще высокой, и остается высокий шанс того, что наблюдаемый человек может быть потерян из отслеживания.

Дополнительно, в технологии, раскрытой в JP 2007-272732 A, даже в обстоятельствах, в которых трудно для устройства слежения выполнять процесс слежения, с помощью наблюдающего человека процесс слежения может продолжаться без перерыва. Однако, эта технология предшествующего уровня относится только к процессу слежения в области обзора одной камеры, выполняемому на основе захваченных изображений, полученных посредством одной камеры. С другой стороны, ошибка может возникать в процессе слежения в области обзора нескольких камер, который ассоциирует информацию слежения, полученную посредством процесса слежения в области обзора одной камеры для одной камеры, с информацией слежения, полученной посредством процесса слежения в области обзора одной камеры для другой камеры, и если ошибка фактически возникает в процессе слежения в области обзора нескольких камер, может случайно произойти подмена человека, который должен отслеживаться. Технология предшествующего уровня не обеспечивает каких-либо эффективных мер, чтобы справляться с ошибкой, которая может возникать в процессе слежения в области обзора нескольких камер.

Настоящее изобретение выполнено, чтобы решать такие проблемы предшествующего уровня техники, и основной целью настоящего изобретения является предоставление устройства содействия отслеживанию, системы содействия отслеживанию и способа содействия отслеживанию, которые, в случае, когда наблюдающий человек отслеживает конкретного человека, наблюдая за захваченными изображениями, полученными посредством множества камер, могут правильно выполнять процесс содействия, чтобы уменьшать нагрузку на наблюдающего человека, чтобы, тем самым, предоставлять возможность наблюдающему человеку спокойно выполнять работу по отслеживанию без потери из вида наблюдаемого человека.

Чтобы добиваться вышеупомянутой цели, первый аспект настоящего изобретения предоставляет устройство содействия отслеживанию для содействия наблюдающему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, посредством отображения на устройстве отображения экрана, на котором множество видов отображения для отображения захваченных изображений, полученных посредством соответствующих камер и сохраненных в блоке хранения изображений, размещены на изображении карты, представляющем наблюдаемую область в соответствии с фактическим размещением камер, устройство включает в себя: блок задания цели, которая должна отслеживаться, который инструктирует, чтобы захваченные изображения, сохраненные в блоке хранения изображений, отображались в видах отображения в соответствии с указанным условием поиска, таким как время захвата, и, в ответ на операцию ввода, выполненную наблюдающим человеком на одном из видов отображения для того, чтобы назначить движущийся объект, который должен отслеживаться, задает назначенный движущийся объект в качестве цели, которая должна отслеживаться; блок выбора камеры, который, на основе информации слежения, полученной посредством обработки захваченных изображений, выбирает любую из камер, которые, как предполагается, должны иметь полученное изображения движущегося объекта, назначенного в качестве цели, которая должна отслеживаться, среди камер, отличных от камеры, соответствующей виду отображения, на котором цель, которая должна отслеживаться, была назначена; блок представления изображения подтверждения, который, на основе информации слежения, касающейся движущегося объекта, заданного в качестве цели, которая должна отслеживаться, извлекает, из числа захваченных изображений, полученных каждой камерой, выбранной посредством блока выбора камеры, изображение подтверждения, которое является захваченным изображением, полученным каждой камерой, выбранной посредством блока выбора камеры, когда отслеживание движущегося объекта началось, и предполагает включение в себя движущегося объекта, и инструктирует устройству отображения отображать экран подтверждения цели, которая должна отслеживаться, на котором размещено(ы) изображение(я) подтверждения; и блок воспроизведения, который выполняет непрерывное воспроизведение, в котором захваченные изображения, из которых извлечено(ы) изображение(я) подтверждения посредством блока представления изображения подтверждения, отображаются во множестве видов отображения последовательно вместе с ходом времени.

Согласно этой структуре экран отображается на устройстве отображения так, что множество видов отображения для отображения захваченных изображений, полученных посредством соответствующих камер, размещается на изображении карты, представляющем наблюдаемую область в соответствии с фактическим размещением камер, и движущийся объект, назначенный в качестве цели, которая должна отслеживаться, отображается в этих видах отображения, и, следовательно, наблюдающий человек может легко проверять, какие действия были выполнены в наблюдаемой области движущимся объектом, указанным в качестве цели, которая должна отслеживаться. В частности, поскольку изображение(я) подтверждения, предполагающее включение в себя движущегося объекта, заданного в качестве цели, которая должна отслеживаться, отображаются в видах отображения на основе информации слежения, проверяя, действительно ли каждое изображение подтверждения включает в себя движущийся объект, назначенный в качестве цели, которая должна отслеживаться, наблюдающий человек может легко определять, включает ли в себя информация слежения, относящаяся к движущемуся объекту, указанному в качестве цели, которая должна отслеживаться, ошибку.

Во втором аспекте настоящего изобретения устройство содействия отслеживанию дополнительно включает в себя блок формирования экранов, включающий в себя: блок указания цели, которая должна отслеживаться, который предоставляет первое выделение, чтобы выделять рамку движущегося объекта, ассоциированную с движущимся объектом, заданным в качестве цели, которая должна отслеживаться; и блок указания вида отображения, который предоставляет второе выделение, чтобы выделять рамку отображения, ассоциированную с видом отображения, в котором движущийся объект, заданный в качестве цели, которая должна отслеживаться, в настоящее время виден на экране непрерывного воспроизведения, в котором выполняется непрерывное воспроизведение.

Согласно этой структуре, когда пользователь (наблюдающий человек) отслеживает движущийся объект, назначенный в качестве цели, которая должна отслеживаться, наблюдая за захваченными изображениями, полученными посредством множества камер и отображенными на экране, наблюдающий человек может находить с первого взгляда вид отображения, в котором движущийся объект, назначенный в качестве цели, которая должна отслеживаться, появляется, среди множества видов отображения, и, следовательно, нагрузка на наблюдающего человека, выполняющего задачу отслеживания, может быть уменьшена, и задача отслеживания может выполняться спокойно без потери из виду движущегося объекта, назначенного в качестве цели, которая должна отслеживаться.

В третьем аспекте настоящего изобретения, в случае, когда слежение за движущимся объектом, заданным в качестве цели, которая должна отслеживаться, прерывается в информации слежения, блок указания вида отображения одновременно указывает два вида отображения, которые отображают захваченные изображения, включающие в себя движущийся объект, заданный в качестве цели, которая должна отслеживаться, соответственно, до и после периода, в котором слежение прерывается.

Когда слежение за движущимся объектом, назначенным в качестве цели, которая должна отслеживаться, прерывается, вид отображения, в котором движущийся объект, назначенный в качестве цели, которая должна отслеживаться, виден в настоящее время, не может быть идентифицирован, но возможно, что движущийся объект, назначенный в качестве цели, которая должна отслеживаться, появляется в одном или обоих из двух видов отображения, которые отображают движущийся объект до и после периода, в котором слежение прерывается, соответственно. Согласно вышеописанной структуре, два вида указываются одновременно, тем самым, наблюдающий человек может выполнять задачу отслеживания без потери из виду движущегося объекта.

В четвертом аспекте настоящего изобретения устройство содействия отслеживанию дополнительно включает в себя: блок выбора кандидатов, который, когда существует ошибка в информации слежения, относящейся к движущемуся объекту, заданному в качестве цели, которая должна отслеживаться, выбирает, в качестве кандидата(ов), движущийся объект(ы), имеющий высокую степень соответствия с движущимся объектом, заданным в качестве цели, которая должна отслеживаться, на основе информации слежения; блок представления изображения кандидата, который извлекает, в качестве изображения(ий) кандидата, захваченное изображение(я), в которое включен(ы) движущийся объект(ы), выбранный в качестве кандидата(ов), и инструктирует устройству отображения отображать экран выбора кандидата, в котором изображение(я) кандидата размещено(ы) так, что наблюдающий человек выбирает на экране выбора кандидата изображение кандидата, в которое включен движущийся объект, назначенный в качестве цели, которая должна отслеживаться; и блок корректировки информации слежения, который заменяет цель, которая должна отслеживаться, на движущийся объект, включенный в изображение кандидата, выбранное на экране выбора кандидата, и корректирует информацию слежения, касающуюся движущегося объекта, назначенного в качестве цели, которая должна отслеживаться.

Согласно этой структуре, наблюдающему человеку требуется лишь выбрать изображение кандидата, в котором движущийся объект, назначенный в качестве цели, которая должна отслеживаться, появляется, и, следовательно, корректировка информации слежения, относящейся к движущемуся объекту, назначенному в качестве цели, которая должна отслеживаться, может выполняться простым образом, и нагрузка на наблюдающего человека может быть уменьшена.

В пятом аспекте настоящего изобретения процессы, выполняемые посредством блока выбора камеры и блока воспроизведения, выполняются относительно событий, возникающих перед, после или и до и после времени захвата изображения назначения цели, которая должна отслеживаться, по которому наблюдающий человек назначает движущийся объект, который должен отслеживаться.

Согласно этой структуре, наблюдающий человек может улавливать состояние движущегося объекта перед временем, когда движущийся объект был назначен в качестве цели, которая должна отслеживаться, и/или состояние движущегося объекта после времени, когда движущийся объект был назначен.

В шестом аспекте настоящего изобретения предоставляется система содействия отслеживанию для содействия наблюдающему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, посредством отображения на устройстве отображения экрана, на котором множество видов отображения для отображения захваченных изображений, полученных посредством соответствующих камер и сохраненных в блоке хранения изображений, размещены на изображении карты, представляющем наблюдаемую область в соответствии с фактическим размещением камер, система включает в себя: камеры, получающие изображения наблюдаемой области; устройство отображения, отображающее экран; и множество устройств обработки информации, при этом множество устройств обработки информации совместно включают в себя: блок обработки слежения, который следит за движущимся объектом(ами), обнаруженным из захваченных изображений, полученных посредством камер, и формирует информацию слежения для каждого движущегося объекта; блок задания цели, которая должна отслеживаться, который инструктирует, чтобы захваченные изображения, сохраненные в блоке хранения изображений, отображались в видах отображения в соответствии с указанным условием поиска, таким как время захвата, и, в ответ на операцию ввода, выполненную наблюдающим человеком на одном из видов отображения, чтобы назначить движущийся объект, который должен отслеживаться, задает назначенный движущийся объект в качестве цели, которая должна отслеживаться; блок выбора камеры, который, на основе информации слежения, полученной от блока обработки слежения, выбирает любую из камер, которые, как предполагается, должны иметь полученное изображение движущегося объекта, указанного в качестве цели, которая должна быть захвачена, среди камер, отличных от камеры, соответствующей виду отображения, на котором цель, которая должна отслеживаться, была назначена; блок представления изображения подтверждения, который, на основе информации слежения, относящейся к движущемуся объекту, заданному в качестве цели, которая должна отслеживаться, извлекает, из числа захваченных изображений, полученных каждой камерой, выбранной посредством блока выбора камеры, изображение подтверждения, которое является захваченным изображением, полученным каждой камерой, выбранной посредством блока выбора камеры, когда отслеживание движущегося объекта началось, и, как предполагается, должно включать в себя движущийся объект, и инструктирует устройству отображения отображать экран подтверждения цели, которая должна отслеживаться, на котором размещено(ы) изображение(я) подтверждения; и блок воспроизведения, который выполняет непрерывное воспроизведение, в котором захваченные изображения, из которых изображение(я) подтверждения извлекает(ют)ся посредством блока представления изображения подтверждения, отображаются во множестве видов отображения последовательно вместе с ходом времени.

Согласно этой структуре, аналогично структуре согласно первому аспекту настоящего изобретения, упомянутому выше, в случае, когда наблюдающий человек отслеживает конкретный движущийся объект, наблюдая за захваченными изображениями, полученными посредством множества камер и отображенных на экране устройства отображения, возможно правильно выполнять процесс содействия, чтобы уменьшать нагрузку на наблюдающего человека, чтобы, тем самым, предоставлять возможность наблюдающему человеку выполнять задачу отслеживания спокойно без потери из виду движущегося объекта, который должен отслеживаться.

В седьмом аспекте настоящего изобретения предоставляется способ содействия отслеживанию для содействия наблюдающему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, посредством отображения на устройстве отображения экрана, на котором множество видов отображения для отображения захваченных изображений, полученных посредством соответствующих камер и сохраненных в блоке хранения изображений, размещены на изображении карты, представляющем наблюдаемую область в соответствии с фактическим размещением камер, способ включает в себя: этап инструктирования, чтобы захваченные изображения, сохраненные в блоке хранения изображений, отображались в видах отображения в соответствии с указанным условием поиска, таким как время захвата, и, в ответ на операцию ввода, выполненную наблюдающим человеком на одном из видов отображения, чтобы назначить движущийся объект, который должен отслеживаться, задают назначенный движущийся объект в качестве цели, которая должна отслеживаться; этап выбора, на основе информации слежения, полученной посредством обработки захваченных изображений, любой из камер, предполагающих наличие полученного изображения движущегося объекта, указанного в качестве цели, которая должна отслеживаться, среди камер, отличных от камеры, соответствующей виду отображения, на котором цель, которая должна отслеживаться, была указана; этап, на котором, на основе информации слежения, касающейся движущегося объекта, заданного в качестве цели, которая должна отслеживаться, извлечения, из числа захваченных изображений, полученных каждой камерой, выбранной посредством этапа выбора, изображения подтверждения, которое является захваченным изображением, полученным каждой камерой, выбранной посредством этапа выбора, когда отслеживание движущегося объекта было начато, и предполагает включение в себя движущегося объекта, и инструктирования устройства отображения, чтобы отображать экран подтверждения цели, которая должна отслеживаться, на котором размещено(ы) изображение(я) подтверждения; и этап выполнения непрерывного воспроизведения, на котором захваченные изображения, из которых извлечено(ы) изображение(я) подтверждения посредством этапа извлечения, отображаются во множестве видов отображения последовательно вместе с ходом времени.

Краткое описание чертежей

Теперь, настоящее изобретение описывается в последующем на примере предпочтительных вариантов его осуществления со ссылкой на сопровождающие чертежи, на которых:

Фиг. 1 - это схема, показывающая общую конфигурацию системы содействия отслеживанию согласно варианту осуществления настоящего изобретения;

Фиг. 2 - это перспективный вид, показывающий размещение камер 1a-1d в магазине;

Фиг. 3 - это функциональная блок-схема, схематично показывающая конфигурацию PC 3;

Фиг. 4 - это пояснительная схема, показывающая экран назначения цели, которая должна отслеживаться, который должен отображаться на мониторе 7;

Фиг. 5 - это пояснительная схема, показывающая экран подтверждения цели, которая должна отслеживаться, который должен отображаться на мониторе 7;

Фиг. 6 - это пояснительная схема, показывающая экран выбора кандидата, который должен отображаться на мониторе 7;

Фиг. 7 - это пояснительная схема, показывающая экран непрерывного воспроизведения, который должен отображаться на мониторе 7;

Фиг. 8 - это пояснительная схема, показывающая состояния процесса слежения в области обзора одной камеры и процесса слежения в области обзора нескольких камер, соответственно выполняемых посредством устройства 4 обработки слежения в области обзора одной камеры и блока 5 обработки слежения в области обзора нескольких камер;

Фиг. 9 - это блок-схема последовательности операций, показывающая процедуру процессов, выполняемых различными блоками PC 3, и операции, выполняемые наблюдающим человеком на различных экранах;

Фиг. 10 - это пояснительная схема, показывающая переход состояний изображения рамки для предоставления выделения в виде(-ах) отображения на экране непрерывного воспроизведения;

Фиг. 11 - это пояснительная схема, показывающая экран подтверждения цели, которая должна отслеживаться, который должен отображаться на мониторе 7;

Фиг. 12 - это пояснительная схема, показывающая экран выбора кандидата, который должен отображаться на мониторе 7;

Фиг. 13 - это пояснительная схема, показывающая экран выбора кандидата, который должен отображаться на мониторе 7; и

Фиг. 14 - это пояснительная схема, показывающая экран выбора кандидата, который должен отображаться на мониторе 7.

Осуществление изобретения

В последующем, варианты осуществления настоящего изобретения будут описаны со ссылками на чертежи. В последующем описании выражения "отслеживание" и "слежение", имеющие, по существу, одно и то же значение, употребляются вместе. Это сделано только ради удобства пояснения. Выражение "отслеживание", главным образом, используется в описании конфигурации, близко связанной с наблюдающим человеком, в то время как выражение "слежение", главным образом, используется в описании конфигурации, близко связанной с внутренней функцией/процессом устройства.

Фиг. 1 - это схема, показывающая общую конфигурацию системы содействия отслеживанию согласно настоящему варианту осуществления. Эта система содействия отслеживанию сконфигурирована для использования в розничном магазине, таком как супермаркет, магазин "Сделай сам" или т.п., и включает в себя камеры 1a-1d, записывающее устройство (блок хранения изображений) 2, PC (персональный компьютер) (устройство содействия отслеживанию) 3 и устройство 4 обработки слежения в области обзора одной камеры.

Камеры 1a-1d установлены в подходящих позициях в магазине, чтобы захватывать изображения наблюдаемой области в магазине, и информация изображения, полученная таким образом, записывается в записывающем устройстве 2.

PC 3 соединен с устройством 6 ввода, таким как мышь, чтобы наблюдающий человек выполнял множество операций ввода, и монитором (устройством отображения) 7, на котором отображается экран наблюдения. Следует отметить, что устройство 6 ввода и монитор 7 могут быть реализованы как сенсорная панель отображения.

PC 3 установлен на посту охраны или т.п. магазина, так что наблюдающий человек (такой как сотрудник службы охраны) может видеть в реальном времени изображения внутреннего пространства магазина, полученные посредством камер 1a-1d и показанные на экране наблюдения, отображаемом на мониторе 7, или полученные ранее изображения внутреннего пространства магазина, записанные в записывающем устройстве 2.

PC 11, установленный в помещении управляющего персонала, также соединен с монитором, не показанным на чертежах, так что пользователь в помещении управляющего персонала может проверять ситуацию в магазине, просматривая в реальном времени изображения внутреннего пространства магазина, полученные посредством камер 1a-1d, или полученные ранее изображения внутреннего пространства магазина, записанные в записывающем устройстве 2.

Устройства 4 процесса слежения в области обзора одной камеры выполняют процесс слежения за человеком (людьми, движущимся объектом), обнаруженным в захваченных изображениях, полученных посредством соответствующих камер 1a-1d, и формирования информации слежения (информации слежения в области обзора одной камеры) для каждого человека. Этот процесс слежения в области обзора одной камеры может выполняться с помощью известной технологии распознавания изображения (технологии обнаружения человека, технологии отслеживания человека и т.д.).

PC 3 дополнительно включает в себя блок 5 обработки слежения в области обзора нескольких камер. Блок 5 обработки слежения в области обзора нескольких камер выполняет процесс получения информации слежения в области обзора одной камеры от устройств 4 обработки слежения в области обзора одной камеры и ассоциирования людей, обнаруженных в захваченных изображениях, полученных посредством камер 1a-1d, посредством процесса слежения в области обзора одной камеры, друг с другом, так что возможно непрерывно следить за человеком на протяжении всех захваченных изображений, полученных различными камерами из нескольких камер 1a-1d.

В настоящем варианте осуществления каждое устройство 4 обработки слежения в области обзора одной камеры сконфигурировано, чтобы выполнять процесс слежения в области обзора одной камеры все время независимо от PC 3. Однако, процесс слежения может выполняться в ответ на инструкцию от PC 3. Дополнительно, хотя предпочтительно, чтобы каждое устройство 4 обработки слежения в области обзора одной камеры выполняло процесс слежения за всеми людьми, обнаруженными в захваченных изображениях, полученных соответствующей камерой, процесс слежения может выполняться только относительно человека, назначенного в качестве цели, которая должна отслеживаться, и человека (людей), который сильно связан с этим человеком.

Фиг. 2 - это перспективный вид, показывающий размещение камер 1a-1d в магазине. В иллюстрированной наблюдаемой области в магазине предусмотрены проходы между экспозиционными площадями для товаров, и первая-четвертая камеры 1a-1d установлены, чтобы, главным образом, захватывать изображения этих проходов.

Когда человек движется по проходу, изображение человека захватывается одной или более из первой-четвертой камер 1a-1d, и камера(ы), захватывающая изображение человека, меняется вместе с перемещением человека. В настоящем варианте осуществления будет выполнено описание примера, в котором человек движется так, что изображение человека захватывается первой-третьей камерами 1a-1c в следующем порядке: первая камера 1a, вторая камера 1b и третья камера 1c, хотя путь перемещения человека не ограничен этим примером.

Далее, будет приведено описание процесса содействия отслеживанию, выполняемого посредством PC 3, показанного на Фиг. 1. Фиг. 3 - это функциональная блок-схема, схематично показывающая конфигурацию PC 3. Фиг. 4-7 - это пояснительные схемы, показывающие экраны, отображаемые на мониторе 7. Сначала будет пояснена общая схема экранов, показанных на Фиг. 4-7.

Фиг. 4 показывает экран назначения цели, которая должна отслеживаться, который предоставляет возможность пользователю (наблюдающему человеку) назначить человека, которого желательно отлеживать, по захваченным изображениям в дату и время, когда человек совершил противозаконное действие, такое как магазинная кража. Фиг. 5 показывает экран подтверждения цели, которая должна отслеживаться, который включает в себя изображения подтверждения, извлеченные на основе информации слежения, полученной посредством устройства 4 обработки слежения в области обзора одной камеры и блока 5 обработки слежения в области обзора нескольких камер, чтобы предоставлять возможность наблюдающему человеку проверять, включает ли в себя информация слежения ошибку. Фиг. 6 показывает экран выбора кандидата, который отображает множество изображений кандидатов, а именно, изображения, в которые кандидаты для человека, назначенного в качестве цели, которая должна отслеживаться, включены, соответственно, так что наблюдающий человек может выбирать изображение кандидата, в которое включен человек, назначенный в качестве цели, которая должна отслеживаться. Фиг. 7 включает в себя Фиг. 7A-7C и показывает экран непрерывного воспроизведения для выполнения непрерывного воспроизведения, где захваченные изображения, в которые включен объект (человек), который должен отслеживаться, отображаются последовательно вместе с ходом времени.

В варианте осуществления, показанном на Фиг. 4, 5 и 7, метки камер (изображения, изображающие камеры) 42 для соответствующих камер 1a-1d размещены на изображении 41 карты, представляющем наблюдаемую область, в местоположениях в соответствии с фактическим размещением камер 1a-1d. Дополнительно, множество видов отображения (секции отображения) 43a-43d, отображающие захваченные изображения, полученные соответствующими камерами 1a-1d, размещены поблизости от соответствующих меток 42 камер.

Метки 42 камер отображаются под углами, чтобы указывать направление получения изображения соответствующих камер 1a-1d, посредством чего, наблюдающий человек может ориентировочно знать области получения изображений камер 1a-1d. Виды 43a-43d отображения размещаются в местоположениях, по существу, соответствующих причинам получения изображений соответствующих камер 1a-1d, в силу чего, наблюдающий человек может ориентировочно знать, какая часть наблюдаемой области, представленной посредством изображения 41 карты, отображается в каждом из видов 43a-43d отображения.

Дополнительно, на экранах, показанных на Фиг. 4-7, каждый человек, обнаруженный в захваченных изображениях, отображенных в видах 43a-43d отображения, показан с рамкой 47 обнаружения человека. Кроме того, человек, заданный в качестве цели, которая должна отслеживаться, отображается с рамкой 48 обнаружения человека, указывающей, что человек является целью, которая должна отслеживаться. Эта рамка 48 обнаружения человека выделена цветом (например, зеленым), чтобы отличать рамку 48 обнаружения человека от рамок 47 обнаружения человека, показанных в ассоциации с другими обнаруженными людьми.

Далее, будет приведено описание каждого блока PC 3, показанного на Фиг. 3 PC 3 включает в себя, в дополнение к блоку 5 обработки слежения в области обзора нескольких камер, блок 21 обработки информации слежения, блок 22 хранения информации слежения, блок 23 задания цели, которая должна отслеживаться, блок 24 выбора камеры, блок 25 подтверждения цели, которая должна отслеживаться, блок 26 корректировки цели, которая должна отслеживаться, блок 27 воспроизведения изображений и блок 28 формирования экранов.

Блок 21 обработки информации слежения выполняет процесс получения информации слежения от устройств 4 обработки слежения в области обзора одной камеры и блока 5 обработки слежения в области обзора нескольких камер и сохранения информации слежения в блоке 22 хранения информации слежения.

Блок 23 задания цели, которая должна отслеживаться, выполняет процесс отображения на мониторе 7 экрана назначения цели, которая должна отслеживаться, в котором захваченные изображения, записанные в записывающем устройстве 2, отображаются в видах 43a-43d отображения и, в ответ на операцию ввода, выполненную наблюдающим человеком на одном из видов 43a-43d отображения, чтобы назначить человека, который должен отслеживаться, задает назначенного человека в качестве цели, которая должна отслеживаться. Эта операция ввода наблюдающего человека выполняется с помощью устройства 6 ввода, такого как мышь. Следует отметить, что захваченное изображение, отображенное в одном из видов 43a-43d отображения, по которому операция, чтобы назначить объект (человека), который должен отслеживаться, была выполнена, будет называться далее в данном документе изображением назначения цели, которая должна отслеживаться.

Блок 24 выбора камеры выполняет процесс получения информации слежения, относящейся к человеку, заданному в качестве цели, которая должна отслеживаться, от блока 22 хранения информации слежения и, на основе информации слежения, выбирает любую из камер 1a-1d, которые подразумевают наличие полученного изображения человека, заданного в качестве цели, которая должна отслеживаться, отличную от одной из камер 1a-1d, которые соответствуют одному из видов 43a-43d отображения, на котором цель, которая должна отслеживаться, была назначена.

Блок 25 подтверждения цели, которая должна отслеживаться, включает в себя блок 31 представления изображения подтверждения. Блок 31 представления изображения подтверждения выполняет процесс получения информации слежения, относящейся к человеку, заданному в качестве цели, которая должна отслеживаться, из блока 22 хранения информации слежения и, на основе информации слежения, извлекает захваченные изображения, предполагающие включение в них человека, в качестве изображений подтверждения, так что экран подтверждения цели, которая должна отслеживаться, на котором размещены изображения подтверждения, отображается на мониторе. В процессе извлечения изображений подтверждения, на основе информации слежения, захваченные изображения, предполагающие включение в них человека, установленного в качестве цели, которая должна отслеживаться, извлекаются из записывающего устройства 2.

Таким образом, проверяя, относится ли каждое изображение подтверждения, отображенное на экране подтверждения цели, которая должна отслеживаться, к человеку, назначенному в качестве цели, которая должна отслеживаться, наблюдающий человек может определять, включает ли в себя информация слежения, относящаяся к человеку, назначенному в качестве цели, которая должна отслеживаться, ошибку.

Если некоторое изображение подтверждения считается относящимся к человеку (людям), отличному от человека, назначенного в качестве цели, которая должна отслеживаться, а именно, если изображение подтверждения включает в себя лишь человека (людей), отличного от человека, назначенного в качестве цели, которая должна отслеживаться, или если изображение подтверждения включает в себя человека, назначенного в качестве цели, которая должна отслеживаться, но рамка 48 обнаружения человека, указывающая цель, которая должна отслеживаться, отображается в ассоциации с человеком, отличным от человека, назначенного в качестве цели, которая должна отслеживаться, информация слежения, касающаяся человека, назначенного в качестве цели, которая должна отслеживаться, включает в себя ошибку.

Блок 26 корректировки цели, которая должна отслеживаться, включает в себя блок 33 выбора кандидатов, блок 34 представления изображения кандидата и блок 35 корректировки информации слежения.

Блок 33 выбора кандидатов выполняет процесс получения информации слежения для каждого человека от блока 22 хранения информации слежения и, на основе информации слежения, выбирает, в качестве кандидатов, людей, которые с большой вероятностью относятся к человеку, установленному в качестве цели, которая должна отслеживаться. Этот процесс выбора кандидатов выполняется в ответ на операцию инструктирования, выполненную наблюдающим человеком, когда наблюдающий человек обнаруживает, что существует ошибка в информации слежения, относящейся к человеку, назначенному в качестве цели, которая должна отслеживаться. В процессе выбора кандидатов степень соответствия каждого человека получается на основе времени обнаружения человека (времени захвата кадра изображения), позиции обнаружения человека, скорости перемещения человека, цветовой информации изображения человека и т.д. Цветовая информация каждого изображения человека получается способом извлечения цветов с помощью шаблонов. Дополнительно, блок 33 выбора кандидатов ранжирует людей, выбранных в качестве кандидатов (далее в данном документе, персон-кандидатов) в соответствии с их соответствующими степенями соответствия.

Блок 34 представления изображения кандидата выполняет процесс извлечения, для каждого человека, выбранного в качестве кандидата в блоке 33 выбора кандидатов, захваченного изображения, в которое включен человек (это захваченное изображение может называться изображением кандидата), и отображает на мониторе 7 экран выбора кандидата, в котором изображения кандидатов размещены так, что наблюдающий человек может выбирать на экране выбора кандидата изображение кандидата, в которое включен человек, назначенный в качестве цели, которая должна отслеживаться. В процессе извлечения изображения кандидата, на основе информации слежения, относящейся к каждому человеку-кандидату, захваченное изображение, в которое включен человек-кандидат, получается из записывающего устройства 2.

В частности, в настоящем варианте осуществления, процесс выполняется, чтобы получать, из информации слежения, сохраненной в блоке 22 хранения информации слежения, время захвата изображения назначения цели, которая должна отслеживаться, и изображение каждого кандидата и идентификационную информацию камер 1a-1d, которые захватили эти изображения, и размещать изображение назначения цели, которая должна отслеживаться, и изображения кандидатов на экране выбора кандидата, так что они размещаются в порядке времени захвата и сгруппированы на основе камер 1a-1d, посредством которых эти изображения были получены. Дополнительно, блок 34 представления изображения кандидата выполняет процесс получения, из информации слежения, относящейся к каждому человеку, выбранному в качестве кандидата, периода слежения за человеком и отображает изображение, представляющее период слежения в ассоциации с соответствующим изображением кандидата на экране выбора кандидата. Также, блок 34 представления изображения кандидата выполняет процесс инструктирования, чтобы захваченные изображения отображались в качестве неподвижных изображений в первоначальном состоянии экрана выбора кандидата, а после операции инструктирования наблюдающим человеком, инструктирования, чтобы захваченные изображения отображались как движущиеся изображения.

Блок 35 корректировки информации слежения выполняет процесс изменения цели, которая должна отслеживаться, на человека, ассоциированного с изображением кандидата, выбранным на экране выбора кандидата, и корректировки информации слежения, относящейся к человеку, назначенному в качестве цели, которая должна отслеживаться. А именно, когда человек, указанный в качестве цели, которая должна отслеживаться в любом из вышеупомянутых изображений подтверждения, отличается от человека, назначенного в качестве цели, которая должна отслеживаться, считается, что произошла непредвиденная смена человека, заданного в качестве цели, которая должна отслеживаться, и, таким образом, на основе информации слежения, относящейся к человеку, заданному в качестве правильной цели, которая должна отслеживаться, информация слежения, относящаяся к человеку, назначенному в качестве цели, которая должна отслеживаться, корректируется. Информация слежения, скорректированная таким образом, сохраняется в блоке 22 хранения информации слежения.

Следует отметить, что каждый из вышеописанных процессов, выполняемых посредством блока 24 выбора камеры, блока 25 подтверждения цели, которая должна отслеживаться, и блока 26 корректировки цели, которая должна отслеживаться, выполняются относительно событий, происходящих во времени перед, после или и перед, и после времени захвата изображения назначения цели, которая должна отслеживаться, по которому наблюдающий человек назначил человека, который должен отслеживаться.

Блок 27 воспроизведения изображений выполняет процесс, чтобы отображать захваченные изображения камер 1a-1d, выбранных посредством блока 24 выбора камеры, в соответствующих видах 43a-43d отображения. В частности, в настоящем варианте осуществления, блок 27 воспроизведения изображений выполняет процесс непрерывного воспроизведения, так что захваченные изображения, в которые включен человек, назначенный в качестве цели, которая должна отслеживаться, отображаются в видах 43a-43d отображения последовательно вместе с ходом времени.

Блок 28 формирования экранов формирует экраны, которые должны отображаться на мониторе 7, и включает в себя блок 36 формирования базового экрана, блок 37 указания вида отображения, блок 38 указания цели, которая должна отслеживаться, и блок 39 обработки захваченного изображения.

Блок 28 формирования экранов формирует экран назначения цели, которая должна отслеживаться, показанный на Фиг. 4, в ответ на инструкцию от блока 23 задания цели, которая должна отслеживаться, формирует экран подтверждения цели, которая должна отслеживаться, показанный на Фиг. 5, в ответ на инструкцию от блока 31 представления изображения подтверждения, формирует экран выбора кандидата, показанный на Фиг. 6, в ответ на инструкцию от блока 34 представления изображения кандидата, и формирует экран непрерывного воспроизведения, показанный на Фиг. 7, в ответ на инструкцию от блока 27 воспроизведения изображений.

Блок 36 формирования базового экрана выполняет процесс формирования базового экрана (фонового экрана), в котором метки 42 камер для соответствующих камер 1a-1d и пустые рамки (не включающие в себя захваченные изображения) множественных видов 43a-43d отображения, в которых должны отображаться захваченные изображения, полученные посредством соответствующих камер 1a-1d, размещаются на изображении 41 карты, представляющем наблюдаемую область.

Блок 37 указания вида отображения выполняет процесс указания на экране непрерывного воспроизведения одного из видов 43a-43d отображения, в которых человек, назначенный в качестве цели, которая должна отслеживаться, виден в настоящее время. В частности, в настоящем варианте осуществления, один из видов 43a-43d отображения, в которых человек, назначенный в качестве цели, которая должна отслеживаться, виден в настоящее время, представляется с выделением, чтобы отличать его от других видов из видов 43a-43d отображения. Более конкретно, в качестве выделения изображение 45 рамки, окрашенное в предварительно определенный цвет, отображается так, что оно располагается на внешней периферии одного из видов 43a-43d отображения, который должен быть выделен. В этом процессе указания вида отображения получается информация слежения, относящаяся к человеку, назначенному в качестве цели, которая должна отслеживаться, и, на основе информации слежения, указывается один из видов отображения 43a-43d, в котором человек, назначенный в качестве цели, которая должна отслеживаться, виден в настоящее время.

Блок 38 указания цели, которая должна отслеживаться, выполняет процесс получения информации слежения из блока 22 хранения информации слежения и, на основе информации слежения, указывает человека, заданного в качестве цели, которая должна отслеживаться, в каждом из видов 43a-43d отображения, в котором человек, заданный в качестве цели, которая должна отслеживаться, виден. В частности, в настоящем варианте осуществления, изображение человека, заданного в качестве цели, которая должна отслеживаться, которое отображается в видах 43a-43d отображения, предоставляется с выделением, чтобы отличать человека от других людей. Более конкретно, в качестве выделения, человек, заданный в качестве цели, которая должна отслеживаться, показан с рамкой 48 обнаружения человека, которая указывает, что человек является целью, которая должна отслеживаться. Эта рамка 48 обнаружения человека выделена цветом (например, зеленым), что может отличать рамку 48 обнаружения человека от рамок 47 обнаружения человека, показанных в ассоциации с каждым человеком, обнаруженным из захваченных изображений.

Блок 39 обработки захваченного изображения выполняет процесс встраивания захваченных изображений, полученных от запоминающего устройства 2, в соответствующие виды 43a-43d отображения на базовом экране, сформированном посредством блока 36 формирования базового экрана.

Следует отметить, что различные блоки PC 3, показанные на Фиг. 3, реализуются посредством выполнения программ для содействия отслеживанию посредством CPU в PC 3. Эти программы могут быть предварительно установлены в PC 3, служащем в качестве устройства обработки информации, чтобы осуществлять устройство, предназначенное для содействия отслеживанию, или могут быть предоставлены пользователю в форме, сохраненной на подходящем носителе записи программы, такой как прикладная программа, которая может быть запущена в ОС общего назначения.

Далее будет приведено описание случая, когда ошибка в информации слежения возникает в устройстве 4 обработки слежения в области обзора одной камеры и блоке 5 обработки слежения в области обзора нескольких камер. Фиг. 8 - это пояснительная схема, показывающая состояния процесса слежения в области обзора одной камеры и процесса слежения в области обзора нескольких камер, соответственно выполняемых посредством устройства 4 обработки слежения в области обзора одной камеры и блока 5 обработки слежения в области обзора нескольких камер. Здесь, будет приведено описание примера, в котором два человека A и B аналогично движутся так, что их изображения захватываются посредством первой-третьей камер 1a-1c, как показано на Фиг. 2.

Устройство 4 обработки слежения в области обзора одной камеры для первой камеры 1a обнаруживает людей A и B из захваченных изображений, полученных посредством первой камеры 1a, и предоставляет ID человека (Id=01, Id=02) людям A и B, соответственно. Устройство 4 обработки слежения в области обзора одной камеры для второй камеры 1b обнаруживает людей A и B из захваченных изображений, полученных посредством второй камеры 1b, и предоставляет ID человека (Id=03, Id=04) людям A и B, соответственно. В этом примере, в частности, слежение за человеком A прерывается, а обнаружение человека B занимает время, так что начало слежения за человеком B задерживается. Устройство 4 обработки слежения в области обзора одной камеры для третьей камеры 1c обнаруживает людей A и B из захваченных изображений, полученных посредством третьей камеры 1c, и предоставляет ID человека (Id=05, Id=06) людям A и B, соответственно.

Блок 5 обработки слежения в области обзора нескольких камер в PC3 выполняет процесс получения информации слежения от каждого из устройств 4 обработки слежения в области обзора одной камеры для первой-третьей камер 1a-1c и ассоциирует человека (людей), обнаруженного из информации слежения от устройства 4 обработки в области обзора одной камеры для одной камеры, с человеком (людьми), обнаруженным из информации слежения от устройства обработки слежения в области обзора одной камеры для другой камеры. В частности, в показанном примере, вследствие прерывания и задержки слежения, вызванных в устройстве 4 обработки слежения в области обзора одной камеры для второй камеры 1b, возникает ошибка в процессе слежения в области обзора нескольких камер между второй камерой 1b и третьей камерой 1c, так что человек A и человек B заменяются друг другом. В таком случае, если человек A назначается в качестве цели, которая должна отслеживаться, в виде 43c отображения, соответствующем третьей камере 1c, человек B будет отображаться в качестве цели, которая должна отслеживаться, в первом виде 43a отображения и втором виде 43b отображения, соответствующих первой камере 1a и второй камере 1b, соответственно.

Таким образом, если информация слежения, полученная от блока 5 обработки слежения в области обзора нескольких камер, включает в себя ошибку, человек, отличный от человека, назначенного в качестве цели, которая должна отслеживаться, будет отображаться в качестве цели, которая должна отслеживаться, в видах 43a-43d отображения, посредством чего, возможно проверять, включает ли в себя информация слежения ошибку или нет. Если ошибка обнаруживается в информации слежения посредством этой проверки, процесс выполняется, чтобы заставлять наблюдающего человека выбирать правильного человека в качестве цели, которая должна отслеживаться, и корректировать информацию слежения соответствующим образом.

Далее, будет приведено подробное описание различных экранов, показанных на Фиг. 4-7, и операций, выполняемых наблюдающим человеком на этих экранах. Фиг. 9 - это блок-схема последовательности операций, показывающая процессы, выполняемые различными блоками PC 3, показанными на Фиг. 3, и операции, выполняемые наблюдающим человеком на экранах.

Сначала, когда выполняется операция запуска процесса содействия отслеживанию, экран назначения цели, которая должна отслеживаться, показанный на Фиг. 4, отображается на мониторе 7, и наблюдающий человек выполняет операцию, чтобы назначить дату и время на экране назначения цели, которая должна отслеживаться (этап ST101). Верхний сегмент экрана назначения цели, которая должна отслеживаться, снабжен полями ввода для даты и времени, и если наблюдающий человек назначает дату и время (год, месяц, день, час, минута и секунда) и задействует кнопку "поиск", захваченные изображения (неподвижные изображения), полученные посредством камер 1a-1d в указанную дату и время, отображаются в соответствующих видах 43a-43d отображения (этап ST102). Следует отметить, что дата и время, когда человек, который должен отслеживаться, совершил действие, такое как кража в магазине, известно, и, таким образом, на основе этой даты и времени, может быть найдено захваченное изображение, в которое человек, который должен отслеживаться, определенно включен.

На экране назначения цели, которая должна отслеживаться, наблюдающий человек выполняет операцию назначения человека в качестве цели, которая должна отслеживаться (этап ST103). В частности, наблюдающий человек использует устройство 6 ввода, такое как мышь, чтобы перемещать указатель 49 на изображение человека, которого желательно отслеживать, который включен в захваченное изображение, отображенное в одном из видов 43a-43d отображения, и выполняет операцию для выбора человека (операцию щелчка в случае мыши). В примере, показанном на Фиг. 4, человек, который должен отслеживаться, виден (или отображается) в третьем виде 43c отображения, который соответствует третьей камере 1c, и этот человек назначается в качестве цели, которая должна отслеживаться.

После того как наблюдающий человек выполняет операцию, чтобы назначить человека в качестве цели, которая должна отслеживаться, на экране назначения цели, которая должна отслеживаться, как описано выше, блок 24 выбора камеры выполняет процесс выбора любой из камер 1a-1d которая, как подразумевается, должна иметь полученное изображение человека, назначенного в качестве цели, которая должна отслеживаться (этап ST104). Затем, блок 31 представления изображения подтверждения блока 25 подтверждения цели, которая должна отслеживаться, выполняет процесс инструктирования монитору 7 отображать экран подтверждения цели, которая должна отслеживаться, показанный на Фиг. 5, на котором размещены изображения подтверждения, которые, как предполагается, должны включать в себя человека, назначенного в качестве цели, которая должна отслеживаться (этап ST105).

На экране подтверждения цели, которая должна отслеживаться, показанном на Фиг. 5, изображение подтверждения отображается в каждом из вида(ов) из видов 43a-43d отображения, соответствующих выбранной камере(ам) из камер 1a-1d, где изображение подтверждения, отображенное в одном виде отображения, является изображением, полученным посредством соответствующей камеры, и, как предполагается, должно включать в себя человека, назначенного в качестве цели, которая должна отслеживаться. А именно, изображение подтверждения, отображенное в одном виде отображения, является репрезентативным изображением (неподвижным изображением), выбранным среди захваченных изображений, которые были получены посредством соответствующей камеры, и в которое человек, назначенный в качестве цели, которая должна отслеживаться, как предполагается, должен быть включен. Репрезентативное изображение может быть захваченным изображением, полученным, когда слежение за человеком, назначенным в качестве цели, которая должна отслеживаться, было начато, другими словами, захваченным изображением, в котором человек, назначенный в качестве цели, которая должна отслеживаться, был обнаружен в первый раз. В каждом из видов 43a-43d отображения на экране подтверждения цели, которая должна отслеживаться, рамка 47 обнаружения человека отображается в ассоциации с каждым человеком (если они есть) в захваченном изображении, и, в частности, рамка 48 обнаружения человека, указывающая цель, которая должна отслеживаться, отображается в ассоциации с человеком, заданным в качестве цели, которая должна отслеживаться.

Нижний сегмент экрана подтверждения цели, которая должна отслеживаться, снабжен кнопкой воспроизведения, кнопкой обратного воспроизведения, кнопкой останова, кнопкой быстрой перемотки вперед и кнопкой перемотки назад. После задействования этих кнопок, в видах 43a-43d отображения, захваченные изображения, полученные посредством соответствующих камер 1a-1d, отображаются как движущиеся изображения, так что захваченные изображения, в которых человек, назначенный в качестве цели, которая должна отслеживаться, как предполагается, должен быть захвачен, отображаются как движущиеся изображения в некоторых из видов 43a-43d отображения. Это делает возможным для пользователя (наблюдающего человека) подтверждать, корректна ли цель, которая должна отслеживаться, наблюдая за движущимися изображениями.

В случае, когда информация слежения, относящаяся к человеку, назначенному в качестве цели, которая должна отслеживаться, включает в себя ошибку, изображение(я) подтверждения, отображенное в некоторых из видов 43a-43d отображения на экране подтверждения цели, которая должна отслеживаться, может не включать в себя человека, назначенного в качестве цели, которая должна отслеживаться, или даже если каждое изображение подтверждения показывает человека, назначенного в качестве цели, которая должна отслеживаться, рамка 48 обнаружения человека может отображаться в ассоциации с человеком, отличным от человека, назначенного в качестве цели, которая должна отслеживаться. Таким образом, возможно для пользователя (наблюдающего человека) определять, включает ли в себя информация слежения, относящаяся к человеку, назначенному в качестве цели, которая должна отслеживаться, ошибку или нет, посредством просмотра изображений подтверждения.

Если наблюдающий человек обнаруживает из экрана подтверждения цели, которая должна отслеживаться, что цель, которая должна отслеживаться, отображенная в любом из видов 43a-43d отображения, является некорректной (NO на этапе ST106), наблюдающий человек выдает инструкцию, чтобы отображать кандидатов для корректной цели, которая должна отслеживаться; в частности, выбирает один из видов 43a-43d отображения, в котором цель, которая должна отслеживаться, не указана корректно, и задействует кнопку "ручной поиск" (этап ST107). После чего, блок 33 выбора кандидатов блока 26 корректировки цели, которая должна отслеживаться, выполняет процесс выбора, в качестве кандидатов, лиц, имеющих высокую степень соответствия с человеком, назначенным в качестве цели, которая должна отслеживаться (этап ST108). Впоследствии, блок 34 представления изображения кандидата выполняет процесс извлечения, в качестве изображений кандидатов, захваченных изображений, включающих в себя соответствующих лиц, выбранных в качестве кандидатов посредством блока 33 выбора кандидатов, и инструктирует монитору 7 отображать экран выбора кандидата, показанный на Фиг. 6 (этап ST109).

На экране выбора кандидата, показанном на Фиг. 6, изображения кандидатов, полученные посредством одной из камер 1a-1d, соответствующих одному из видов 43a-43d отображения, выбранных как включающих в себя ошибку на экране подтверждения цели, которая должна отслеживаться, показанном на Фиг. 5, отображаются, где, на основе порядка, данного людям-кандидатам, отображается предварительно определенное число изображений кандидатов для лиц-кандидатов более высоких рангов. В частности, в примере, показанном на Фиг. 6, четыре вида 51a-51d отображения размещены на экране выбора кандидата, на котором изображения кандидатов для лиц-кандидатов первого-четвертого рангов, соответственно, отображаются.

Нижний сегмент этого экрана выбора кандидата снабжен кнопкой "нет кандидата" и кнопкой "далее". Если задействуется кнопка "нет кандидата", экран переходит обратно к экрану подтверждения цели, которая должна отслеживаться, показанному на Фиг. 5, без какого-либо выбранного кандидата. Если задействуется кнопка "далее", отображаются изображения кандидатов, включающие в себя лиц-кандидатов следующих рангов.

Если на экране выбора кандидата наблюдающий человек выбирает изображение кандидата, включающее в себя корректного человека, назначенного в качестве цели, которая должна отслеживаться (этап ST110), отображается всплывающим образом кнопка подтверждения, и если эта кнопка подтверждения задействуется, экран возвращается к экрану подтверждения цели, которая должна отслеживаться, показанному на Фиг. 5. В это время, блок 35 корректировки информации слежения выполняет процесс изменения цели, которая должна отслеживаться, на человека, захваченного в изображении кандидата, выбранном на экране выбора кандидата, и корректировки информации слежения, относящейся к человеку, назначенному в качестве цели, которая должна отслеживаться (этап ST111).

После этого, наблюдающий человек проверяет, корректна ли цель, которая должна отслеживаться, во всех видах 43a-43d отображения на экране подтверждения цели, которая должна отслеживаться, показанном на Фиг. 5 (этап ST112), и если обнаруживается, что существует вид отображения, в котором цель, которая должна отслеживаться, некорректна, наблюдающий человек выбирает, на экране подтверждения цели, которая должна отслеживаться, один из видов 43a-43d отображения, в котором цель, которая должна отслеживаться, не указана корректно, и задействует кнопку "ручной поиск" (этап ST107), в силу чего, вышеупомянутые процессы и операции повторяются.

Затем, если подтверждается, что цель, которая должна отслеживаться, является корректной во всех видах 43a-43d отображения на экране подтверждения цели, которая должна отслеживаться, показанном на Фиг. 5, наблюдающий человек задействует кнопку воспроизведения, предоставленную в нижнем сегменте экрана подтверждения цели, которая должна отслеживаться. Затем, блок 27 воспроизведения изображения выполняет процесс непрерывного воспроизведения, в котором захваченные изображения, в которые включен человек, назначенный в качестве цели, которая должна отслеживаться, отображаются в видах 43a-3d отображения последовательно вместе с ходом времени, тем самым, экран непрерывного воспроизведения, показанный на Фиг. 7, отображается на мониторе 7 (этап ST113). Это непрерывное воспроизведение выполняется на основе скорректированной информации слежения, относящейся к человеку, назначенному в качестве цели, которая должна отслеживаться, и, таким образом, наблюдающий человек может видеть, какие действия были выполнены в наблюдаемой области человеком, назначенным в качестве цели, которая должна отслеживаться, и может подтверждать опять же, включает ли в себя информация слежения ошибку.

Как описано выше, в настоящем варианте осуществления, экран отображается на мониторе 7 так, что экран включает в себя изображение 41 карты, представляющее наблюдаемую область, на котором множество видов 43a-43d отображения для отображения захваченных изображений, полученных посредством соответствующих камер 1a-1d, размещены в соответствии с фактическим размещением камер 1a-1d, и человек, назначенный в качестве цели, которая должна отслеживаться, отображается в этих видах 43a-43d отображения. Это предоставляет возможность наблюдающему человеку легко проверять, какие действия были выполнены в наблюдаемой области человеком, назначенным в качестве цели, которая должна отслеживаться. В частности, наблюдающий человек может иметь меньше трудностей в поиске, среди множества видов 43a-43d отображения, тех, в которых отображается человек, назначенный в качестве цели, которая должна отслеживаться, и, таким образом, нагрузка на наблюдающего человека, выполняющего операцию отслеживания, может быть уменьшена, и задача отслеживания может выполняться без потери из виду человека, назначенного в качестве цели, которая должна отслеживаться. Дополнительно, даже когда множество людей видно в одном из интересующих видов 43a-43d отображения, человек, который должен отслеживаться, может быть указан уникально, и, таким образом, возможно достоверно указывать вид отображения, в котором виден человек, назначенный в качестве цели, которая должна отслеживаться.

В настоящем варианте осуществления, если существует ошибка в информации слежения, относящейся к человеку, заданному в качестве цели, которая должна отслеживаться, люди, имеющие высокую степень соответствия с человеком, заданным в качестве цели, которая должна отслеживаться, выбираются в качестве кандидатов для правильной цели, которая должна отслеживаться, и изображения кандидатов, в которых видны люди-кандидаты, отображаются на экране выбора кандидата, посредством чего, наблюдающему человеку требуется лишь выбрать изображение кандидата, в котором виден человек, назначенный в качестве цели, которая должна отслеживаться. Следовательно, корректировка отслеживающей информации, относящейся к человеку, назначенному в качестве цели, которая должна отслеживаться, может быть выполнена простым образом, и нагрузка на наблюдающего человека может быть уменьшена.

Дополнительно, в настоящем варианте осуществления, на основе информации слежения, изображения подтверждения, которые, как предполагается, должны включать в себя человека, заданного в качестве цели, которая должна отслеживаться, отображаются на экране подтверждения цели, которая должна отслеживаться, и, таким образом, проверяя, действительно ли каждое изображение подтверждения включает в себя человека, назначенного в качестве цели, которая должна отслеживаться, наблюдающий человек может легко определять, включает ли в себя информация слежения, относящаяся к человеку, назначенному в качестве цели, которая должна отслеживаться, ошибку.

Кроме того, в настоящем варианте осуществления, каждый из процессов, выполняемых блоком 24 выбора камеры, блоком 25 подтверждения цели, которая должна отслеживаться, и блоком 26 корректировки цели, которая должна отслеживаться, выполняется относительно событий, возникающий во времени перед, после или и перед, и после времени захвата изображения назначения цели, которая должна отслеживаться, по которому наблюдающий человек назначил человека, который должен отслеживаться, и, таким образом, наблюдающий человек может знать местоположение человека, назначенного в качестве цели, которая должна отслеживаться, перед и/или после времени, когда назначение было выполнено.

Фиг. 10 - это пояснительная схема, показывающая переход состояний изображения 45 рамки на экране непрерывного воспроизведения, показанном на Фиг. 7, где изображение 45 рамки указывает один из видов 43a-43d отображения, в котором человек, назначенный в качестве цели, которая должна отслеживаться, виден в настоящее время. Здесь, будет приведено описание примера, в котором человек, назначенный в качестве цели, которая должна отслеживаться, движется, чтобы появляться в первом виде 43a отображения, затем во втором виде 43b отображения и затем в третьем виде 43c отображения.

Как описано выше, в вышеупомянутом варианте осуществления, непрерывное воспроизведение может выполняться так, что захваченные изображения, в которые включен человек, назначенный в качестве цели, которая должна отслеживаться, последовательно отображаются во множестве видов 43a-43d отображения. Как показано на Фиг. 7A-7C, на экране непрерывного воспроизведения, на котором выполняется непрерывное воспроизведение, изображение 45 желтой рамки отображается на одном из видов 43a-43d отображения, в то время как вид отображения отображает захваченные изображения, в которые включен человек, назначенный в качестве цели, которая должна отслеживаться.

В примере, показанном на Фиг. 10, момент обнаружения человека и начало слежения за человеком во второй камере 1b (более точно, в устройстве 4 обработки слежения в области обзора одной камеры для второй камеры 1b; аналогичное упрощение может также быть сделано в последующем описании) задерживается, так что создается период, в котором слежение за человеком прерывается между моментом времени, в который слежение начинается во второй камере 1b, и моментом времени, в который слежение завершается в первой камере 1a. В настоящем варианте осуществления, в течение периода, в котором слежение прерывается, два изображения 45 желтой рамки отображаются одновременно на двух из видов 43a-43d отображения, которые отображают, до и после этого периода, соответственно, захваченные изображения, в которых виден человек, назначенный в качестве цели, которая должна отслеживаться. В примере, показанном на Фиг. 10, два изображения 45 желтой рамки отображаются одновременно на первом виде 43a отображения и втором виде 43b отображения.

Дополнительно, в примере, показанном на Фиг. 10, момент времени, в который человек обнаруживается, и слежение начинается в третьей камере 1c, является более ранним, чем момент времени, в который слежение за человеком завершается во второй камере 1b. В таком случае, в настоящем варианте осуществления, когда человек обнаруживается, и слежение начинается в одной из камер 1a-1d, которая начинает захватывать изображение человека, назначенного в качестве цели, которая должна отслеживаться в более поздний момент времени, воспроизведение изображения, выполняемое в одном из видов 43a-43d отображения, соответствующем другой из камер 1a-1d, которая захватила изображение человека, назначенного в качестве цели, которая должна отслеживаться, перед началом слежения в одной из камер 1a-1d, и отображение изображения 45 рамки на одном из видов 43a-43d отображения прекращаются. Таким образом, в примере, показанном на Фиг. 10, когда человек обнаруживается, и слежение начинается в третьей камере 1c, воспроизведение изображения в третьем виде 43c отображения, соответствующем третьей камере 1c, и отображение изображения 45 рамки на виде 43c отображения начинаются, тогда как в то же время, отображение изображения во втором виде 43b отображения, соответствующем второй камере 1b, и отображение изображения 45 рамки на втором виде 43b отображения прекращаются.

Как описано выше, в настоящем варианте осуществления, непрерывное воспроизведение выполняется так, что захваченные изображения, в которые включен человек, назначенный в качестве цели, которая должна отслеживаться, отображается последовательно во множестве видов 43a-43d отображения, посредством чего, человек, назначенный в качестве цели, которая должна отслеживаться, может отслеживаться непрерывно во множестве видов 43a-43d отображения. Следовательно, наблюдающий человек может легко узнать, какие действия были выполнены в наблюдаемой области человеком, назначенным в качестве цели, которая должна отслеживаться.

В частности, в настоящем варианте осуществления, экран непрерывного воспроизведения, на котором выполняется непрерывное воспроизведение, приспособлен, чтобы отображать изображение 45 рамки в ассоциации с одним из видов 43a-43d отображения, в которых человек, назначенный в качестве цели, которая должна отслеживаться, виден в настоящее время, посредством чего, один из видов 43a-43d отображения, в которым человек, назначенный в качестве цели, которая должна отслеживаться, виден, может быть найден с первого взгляда. Это может экономить время, чтобы отыскивать, среди множества видов 43a-43d отображения, вид, в котором человек, назначенный в качестве цели, которая должна отслеживаться, виден в настоящее время, и, следовательно, нагрузка на наблюдающего человека, выполняющего задачу отслеживания, может быть уменьшена, и задача отслеживания может выполняться спокойно без потери из виду человека, назначенного в качестве цели, которая должна отслеживаться.

Когда слежение за человеком, назначенным в качестве цели, которая должна отслеживаться, прерывается в процессе слежения, выполняемом посредством устройств 4 обработки слежения в области обзора одной камеры и блока 5 обработки слежения в области обзора нескольких камер, один из видов 43a-43d отображения, в котором человек, назначенный в качестве цели, которая должна отслеживаться, виден в настоящее время, не может быть идентифицирован. В таком случае, очень вероятно, что человек, назначенный в качестве цели, которая должна отслеживаться, появляется в одном или обоих из двух видов 43a-43d отображения, которые отображают человека до и после периода, в котором слежение прерывается, соответственно, и, следовательно, в настоящем варианте осуществления, изображения 45 рамки отображаются одновременно на двух видах 43a-43d отображения. Это предоставляет возможность наблюдающему человеку выполнять задачу отслеживания спокойно без потери из виду человека, который должен отслеживаться.

Далее, будет приведено описание другого варианта осуществления экрана подтверждения цели, которая должна отслеживаться, и экрана выбора кандидата, который должен отображаться на мониторе 7. Фиг. 11 - это пояснительная схема, показывающая экран подтверждения цели, которая должна отслеживаться, который должен отображаться на мониторе 7. Фиг. 12-14 - это пояснительные схемы, каждая из которых показывает экран выбора кандидата, который должен отображаться на мониторе 7. Следует отметить, что этот вариант осуществления является таким же, что и вышеописанный вариант осуществления, за исключением моментов, упомянутых в последующем описании.

Экран подтверждения цели, которая должна отслеживаться, показанный на Фиг. 11, отображается, когда человек, который должен отслеживаться, назначается на экране назначения цели, которая должна отслеживаться, показанном на Фиг. 4. Этот экран подтверждения цели, которая должна отслеживаться, является, по существу, таким же, что и показанный на Фиг. 5, за исключением того, что кнопка "поиск по временной шкале" отображается в нижнем сегменте этого экрана подтверждения цели, которая должна отслеживаться. Аналогично примеру, показанному на Фиг. 5, когда наблюдающий человек проверяет, является ли цель, которая должна отслеживаться, корректной, на этом экране подтверждения цели, которая должна отслеживаться, и обнаруживается, что цель, которая должна отслеживаться, является некорректной, наблюдающий человек задействует кнопку "поиск по временной шкале". После чего, отображаются экраны выбора кандидата, показанные на Фиг. 12-14.

На экранах выбора кандидата, показанных на Фиг. 12-14, изображение 61 назначения цели, которая должна отслеживаться, по которому наблюдающий человек назначил человека, который должен отслеживаться, и множественные изображения 62 кандидатов, в которые люди, выбранные в качестве кандидатов для цели, которая должна отслеживаться, соответственно, включены, размещены в порядке времени захвата. В частности, в настоящем варианте осуществления, изображение 61 назначения цели, которая должна отслеживаться, и изображения 62 кандидатов сгруппированы на основе камер 1a-1d, посредством которых они были захвачены, и размещены в порядке времени захвата.

Дополнительно, на экране выбора кандидата, показанном на Фиг. 12-14, изображение 62 кандидата лица-кандидата с наивысшим рангом, а именно, человека-кандидата, имеющего наивысшую степень соответствия с человеком, назначенным в качестве цели, которая должна отслеживаться, задано с большим размером, чем размер других изображений 62 кандидатов.

В примере, показанном на Фиг. 12-14, изображения 62 кандидатов, имеющие различное время захвата, размещены в горизонтальном направлении, а различные группы изображений 62 кандидатов, соответствующие соответствующим камерам 1a-1d, размещены в вертикальном направлении. Однако, вертикальное и горизонтальное направления могут меняться; а именно, конфигурация может быть выполнена так, что изображения 62 кандидатов, имеющие различное время захвата, размещены в вертикальном направлении, а различные группы изображений 62 кандидатов, соответствующие соответствующим камерам 1a-1d, размещены в горизонтальном направлении. Дополнительно, в примере, показанном на Фиг. 12-14, указание времени захвата задумано так, что время идет назад слева направо. Однако, указание времени захвата может быть задумано так, что время идет вперед слева направо, и размещение изображения 61 назначения цели, которая должна отслеживаться, и изображений 62 кандидатов может быть изменено соответствующим образом.

Экран выбора кандидата, показанный на Фиг. 12, отображается первым, когда, после того как человек, который должен отслеживаться, назначен на экране назначения цели, которая должна отслеживаться, показанном на Фиг. 4, задействована кнопка "поиск по временной шкале" на экране подтверждения цели, которая должна отслеживаться, показанном на Фиг. 11. В иллюстрированном примере, на экране выбора кандидата, показанном на Фиг. 12, отображается изображение 61 назначения цели, которая должна отслеживаться, которое было отображено, когда вид 43c отображения, соответствующий третьей камере 1c, был назначен, чтобы выбирать человека, назначенного в качестве цели, которая должна отслеживаться. Дополнительно, изображение 62 кандидата, относящееся к первой камере 1a, и множество изображений 62 кандидатов, относящихся ко второй камере 1b, также отображаются, когда выбор не был еще сделан в отношении изображений 62 кандидатов, относящихся к первой камере 1a и второй камере 1b.

Экран выбора кандидата, показанный на Фиг. 13, отображается, когда одно из изображений 62 кандидатов, относящихся ко второй камере 1b, выбирается на экране выбора кандидата, показанном на Фиг. 12. В иллюстрированном примере, на экране выбора кандидата, показанном на Фиг. 13, отображаются изображение 61 назначения цели, которая должна отслеживаться, относящаяся к третьей камере 1c, и выбранное изображение 65, которое является одним из изображений 62 кандидатов, относящихся ко второй камере 1b, выбранных на экране выбора кандидата, показанном на Фиг. 12. Дополнительно, множество изображений 62 кандидатов, относящихся к первой камере 1a, отображаются, когда выбор еще не сделан в отношении изображений 62 кандидатов, относящихся к первой камере 1a.

Следует отметить, что экраны выбора кандидата, показанные на Фиг. 12 и Фиг. 13, отображаются, когда камеры 1a-1d включают в себя только те, которые захватили изображения человека, назначенного в качестве цели, которая должна отслеживаться, во времени перед временем захвата изображения 61 назначения цели, которая должна отслеживаться, отображенного в виде отображения, на котором человек был назначен в качестве цели, которая должна отслеживаться, а в случае, когда камеры 1a-1d включают в себя только те, которые захватили изображения человека, назначенного в качестве цели, которая должна отслеживаться, во времени после времени захвата изображения 61 назначения цели, которая должна отслеживаться, отображенном в виде отображения, на котором человек был назначен в качестве цели, которая должна отслеживаться, отображается экран выбора кандидата, показанный на Фиг. 14.

На экране выбора кандидата, показанном на Фиг. 14, в дополнение к изображению 61 назначения цели, которая должна отслеживаться, относящемуся к третьей камере 1c, и изображениям 62 кандидатов, относящимся к первой камере 1a и 1b, которые имеют времена захвата более ранние, чем время захвата изображения 61 назначения цели, которая должна отслеживаться, отображается другое изображение 62 кандидата, относящееся к четвертой камере 1d и имеющее время захвата более позднее, чем время захвата изображения 61 назначения цели, которая должна отслеживаться.

Таким образом, в настоящем варианте осуществления, изображения 62 кандидатов, полученные некоторыми из камер 1a-1d (камерами 1a и 1b в примере, показанном на Фиг. 14) по времени перед временем захвата изображения 61 назначения цели, которая должна отслеживаться, и изображения 62 кандидатов, полученные другими некоторыми из камер 1a-1d по времени после времени захвата изображения 61 назначения цели, которая должна отслеживаться, отображаются, и, таким образом, наблюдающий человек может улавливать состояние перемещения человека как до, так и после времени захвата изображения 61 назначения цели, которая должна отслеживаться.

Дополнительно, на экранах выбора кандидата, показанных на Фиг. 12-14, изображение 63 стрелки отображается в положении, ассоциированном с каждым из изображения 61 назначения цели, которая должна отслеживаться, изображений 62 кандидатов и выбранного изображения 65 (в иллюстрированном примере в положении под каждым изображением), чтобы представлять период слежения за человеком, назначенным в качестве цели, которая должна отслеживаться, или человеком, выбранным в качестве кандидата, а именно, период от момента, когда слежение начинается после обнаружения человека в захваченном изображении, до момента, когда слежение завершается. Это изображение 63 стрелки задумано так, что точка начала стрелки соответствует времени начала слежения, а точка окончания стрелки соответствует времени окончания слежения.

Таким образом, в настоящем варианте осуществления, период слежения за человеком, назначенным в качестве цели, которая должна отслеживаться, который включен в каждое из изображения 61 назначения цели, которая должна отслеживаться, и выбранного изображения 65, и период слежения за каждым человеком-кандидатом, включенным в соответствующее одно из изображений 62 кандидатов, визуально указывается посредством изображений 63 стрелок, и это делает возможным принятие решения с первого взгляда о соответствии между человеком, назначенным в качестве цели, которая должна отслеживаться, который включен в каждое из изображения 61 назначения цели, которая должна отслеживаться, и выбранного изображения 65, и каждым человеком-кандидатом, включенным в соответствующее одно из изображений 62 кандидатов.

Кроме того, на экранах выбора кандидата, показанных на Фиг. 12-14, изображения 64 линий (в иллюстрированном примере изображения пунктирных линий) отображаются, чтобы соединять изображения 63 стрелок, относящиеся к одному из любых двух камер 1a-1d, граничащих друг с другом на пути перемещения человека, с изображениями 63 стрелок, относящихся к другим двум камерам, где каждое изображение 63 стрелки отображается в ассоциации с изображением 61 назначения цели, которая должна отслеживаться, изображением 62 кандидата или выбранным изображением 65, как описано выше. В частности, в примере, показанном на Фиг. 12-14, каждое изображение 64 линии отображается, чтобы соединять точку начала изображения 63 стрелки, ассоциированную с изображением, захваченным раньше на пути перемещения человека, с точкой окончания изображения 63 стрелки, ассоциированной с изображением, захваченным позже на пути перемещения человека.

Эти изображения 64 линий делают возможным принятие решения с первого взгляда о соответствии между человеком, назначенным в качестве цели, которая должна отслеживаться, который включен в каждое из изображения 61 назначения цели, которая должна отслеживаться, и выбранного изображения 65, и каждым человеком-кандидатом, включенным в соответствующее одно из изображений 62 кандидатов. А именно, может быть принято решение, что чем больше угол изображения 64 линии (угол, сформированный относительно изображения 63 стрелки), тем по времени ближе два изображения друг к другу и выше соответствие между людьми, включенными в эти изображения.

Дополнительно, на экранах выбора кандидата, показанных на Фиг. 12-14, изображения 62 кандидатов отображаются как неподвижные изображения в первоначальном состоянии, и когда кнопка воспроизведения, предусмотренная в нижнем сегменте экрана выбора кандидата, задействуется, захваченные изображения, полученные в течение соответствующего периода слежения за человеком-кандидатом, включенным в каждое изображение 62 кандидата, отображаются как движущиеся изображения в секции отображения для изображения 62 кандидата. Кроме того, когда секция отображения для данного изображения 62 кандидата задействуется, отображается всплывающий экран, имеющий больший размер, и захваченные изображения отображаются как движущиеся изображения на всплывающем экране, так что пользователь может видеть человека-кандидата на экране, имеющем больший размер.

Кроме того, кнопка "альтернативные кандидаты", кнопка "нет кандидата" и кнопка "ручной поиск" предусмотрены на экране выбора кандидата, показанном на Фиг. 12-14. Кнопка "альтернативные кандидаты" должна задействоваться, когда человек, который должен отслеживаться, не найден в отображаемых в настоящий момент изображениях 62 кандидатов, и желательно отображать изображения кандидатов, включающие в себя лиц-кандидатов следующих рангов. Кнопка "нет кандидата" предусматривается, чтобы завершать процесс выбора подходящего изображения из изображений 62 кандидатов без выбора изображения, когда нет подходящего изображения 62 кандидата. Кнопка "ручной поиск" предусмотрена, чтобы выдавать инструкцию отображения экрана выбора кандидата, показанного на Фиг. 6, вместо экранов выбора кандидата, показанных на Фиг. 12-14.

Как описано выше, в настоящем варианте осуществления, изображение 61 назначения цели, которая должна отслеживаться, по которому наблюдающий человек сделал выбор человека, назначенного в качестве цели, которая должна отслеживаться, и множество изображений 62 кандидатов, в которые соответственно включены люди, выбранные в качестве кандидатов для цели, которая должна отслеживаться, размещаются в порядке времени захвата на экране выбора кандидата. Это делает возможным принятие решения с первого взгляда о соответствии между человеком, назначенным в качестве цели, которая должна отслеживаться, включенным в изображение 61 назначения цели, которая должна отслеживаться, и каждым человеком-кандидатом, включенным в соответствующее одно из изображений 62 кандидатов, тем самым, выбор изображения 62 кандидата может быть сделан простым образом.

В частности, в настоящем варианте осуществления, изображение 61 назначения цели, которая должна отслеживаться, и изображения 62 кандидатов сгруппированы на основе камер 1a-1d, посредством которых они были захвачены, и размещены в порядке времени захвата на экране выбора кандидата. Это делает возможным принятие решения о соответствии между человеком, назначенным в качестве цели, которая должна отслеживаться, включенным в изображение 61 назначения цели, которая должна отслеживаться, и каждым человеком-кандидатом, включенным в соответствующее одно из изображений 62 кандидатов, принимая во внимание камеры 1a-1d, которые захватили эти изображения, таким образом, выбор изображения 62 кандидата может быть сделан даже более простым образом.

Дополнительно, в настоящем варианте осуществления, изображения 63 стрелок, каждое из которых представляет период слежения за человеком, назначенным в качестве цели, которая должна отслеживаться, или человеком, выбранным в качестве кандидата, отображаются на экране выбора кандидата. Это предоставляет возможность наблюдающему человеку улавливать с первого взгляда период слежения за человеком, назначенным в качестве цели, которая должна отслеживаться, который включен в изображение 61 назначения цели, которая должна отслеживаться, и период слежения за каждым человеком-кандидатом, включенным в соответствующее одно из изображений 62 кандидатов, таким образом, выбор изображения кандидата может быть выполнен даже более простым образом.

Кроме того, в настоящем варианте осуществления, захваченные изображения отображаются как неподвижные изображения в первоначальном состоянии экрана выбора кандидата, и после операции инструктирования наблюдающим человеком захваченные изображения отображаются как движущиеся изображения. Следовательно, когда желательно, возможно проверять посредством движущихся изображений, включает ли в себя каждое изображение кандидата человека, назначенного в качестве цели, которая должна отслеживаться, тем самым, выбор изображения кандидата может быть выполнен даже более простым образом.

В вышеизложенном настоящее изобретение было описано на примере конкретных вариантов его осуществления. Однако, эти варианты осуществления предоставлены в иллюстративных целях, и настоящее изобретение не ограничено вариантами осуществления. Также следует отметить, что не все из структурных элементов устройства содействия отслеживанию, системы содействия отслеживанию и способа содействия отслеживанию, которые показаны в вариантах осуществления настоящего изобретения, обязательно необходимы, и они могут выборочно использоваться в случае необходимости без отступления от духа настоящего изобретения.

Например, в вышеупомянутых вариантах осуществления было сделано описание примерного случая, в котором изобретение было применено к розничному магазину, такому как супермаркет. Однако, настоящее изобретение может быть применено к торговому предприятию, отличному от розничного магазина, такому как ресторан, который может быть семейным рестораном, и т.д. Дополнительно, настоящее изобретение может быть применено к предприятию, отличному от торгового предприятия, такому как завод или т.п.

Дополнительно, в вышеупомянутых вариантах осуществления было приведено описание примера, в котором человек отслеживался в качестве движущегося объекта. Однако, может быть реализована конфигурация, чтобы отслеживать движущийся объект, отличный от человека, такой как транспортное средство, которое может быть автомобилем, велосипедом и т.д.

Дополнительно, в вышеупомянутых вариантах осуществления было приведено описание примера, в котором установлены четыре камеры 1a-1d, и четыре вида 43a-43d отображения для соответствующего отображения захваченных изображений, полученных посредством камер 1a-1d, размещены на экране, но число камер 1a-1d и число видов 43a-43d отображения не ограничено этим. Конфигурация согласно вышеупомянутым вариантам осуществления может быть особенно полезной для большего числа видов 43a-43d отображения.

Дополнительно, в вышеупомянутых вариантах осуществления, чтобы выделять виды 43a-43d отображения на экране наблюдения, изображения 45 рамок, окрашенные в предварительно определенные цвета, каждое, отображаются на внешней периферии одного из видов 43a-43d отображения, который должен быть выделен, но выделение не ограничено таким вариантом осуществления, и возможно отображать предварительно определенное изображение, такое как метка, внутри или поблизости от желаемого одного из видов 43a-43d отображения, и/или отображать изображение стрелки, соединяющей два вида 43a-43d отображения.

Дополнительно, в вышеупомянутых вариантах осуществления было сделано описание примера, в котором процесс слежения в области обзора одной камеры был выполнен посредством устройств 4 обработки слежения в области обзора одной камеры, а процесс слежения в области обзора нескольких камер и процесс содействия отслеживанию выполнялись посредством PC 3, который показан на Фиг. 3. Однако, процесс слежения в области обзора одной камеры также может выполняться посредством PC 3. Также возможно конфигурировать каждую из камер 1a-1d, чтобы включать в них блок обработки слежения в области обзора одной камеры. Дополнительно, блок 5 обработки слежения в области обзора нескольких камер может быть сконфигурирован в качестве устройства обработки слежения, отдельного от PC 3. Кроме того, каждая из камер 1a-1d была показана на чертежах как камера в виде ящика, имеющая ограниченный угол обзора. Однако, камеры 1a-1d не ограничены этим, и также возможно использовать всенаправленную камеру(ы), которая может захватывать широкодиапазонное изображение.

Дополнительно, в вышеупомянутых вариантах осуществления, процесс слежения в области обзора одной камеры, процесс слежения в области обзора нескольких камер и процесс содействия отслеживанию выполнялись посредством устройства, установленного в магазине, но эти процессы могут выполняться посредством PC 11, установленного в помещении управляющего персонала, или облачного компьютера 12, формирующего облачную вычислительную систему, как показано на Фиг. 1. Дополнительно, эти необходимые процессы могут выполняться посредством взаимодействия множества устройств обработки информации, в таком случае, множество устройств обработки информации сконфигурированы, чтобы иметь возможность связываться или совместно друг с другом использовать информацию через среду передачи данных, такую как IP-сеть или LAN, или носитель хранения, такой как жесткий диск и карта памяти. Таким образом, множество устройств обработки информации, совместно выполняющие необходимые процессы, составляют систему содействия отслеживанию.

В этом случае, предпочтительно, чтобы устройство, установленное в магазине, было сконфигурировано, чтобы выполнять, по меньшей мере, процесс слежения в области обзора одной камеры или процесс слежения в области обзора нескольких камер. В такой структуре, поскольку информация, полученная посредством процесса слежения в области обзора одной камеры или процесса слежения в области обзора нескольких камер, имеет небольшой объем данных, даже если оставшиеся процессы выполнятся посредством устройства обработки информации, установленного в месте, отличном от магазина, такого как PC 11, установленный в помещении управляющего персонала, нагрузка связи будет небольшой, и, таким образом, легко эксплуатировать систему в форме глобальной вычислительной сети.

Также может быть предпочтительно, чтобы облачный компьютер 12 был сконфигурирован, чтобы выполнять, по меньшей мере, процесс слежения в области обзора одной камеры или процесс слежения в области обзора нескольких камер. В такой структуре, хотя процесс слежения в области обзора одной камеры и процесс слежения в области обзора нескольких камер требует большого объема вычислений, они выполняются посредством устройства обработки информации, составляющего облачную вычислительную систему, и, следовательно, не нужно подготавливать высокоскоростное устройство обработки информации на стороне использования, а именно, в магазине или т.п. Дополнительно, поскольку оставшиеся процессы требуют небольшого объема вычислений, оставшиеся процессы могут выполняться как расширенные функции устройства обработки информации, установленного в магазине, чтобы служить в качестве устройства управления информацией о продажах, и это может уменьшать затраты, которые несет пользователь.

Облачный компьютер 12 может быть сконфигурирован, чтобы выполнять полностью необходимые процессы. В такой структуре становится возможно просматривать состояние отслеживания на мобильном терминале, таком как смартфон 13, в дополнение к PC 3, установленному в магазине, и PC 11 установленному в помещении управляющего персонала, и это предоставляет возможность пользователю просматривать состояние отслеживания не только в магазине или помещении управляющего персонала, но также в любом другом месте, таком как место, которое пользователь посещает в командировке.

Устройство содействия отслеживанию, система содействия отслеживанию и способ содействия отслеживанию согласно настоящему изобретению могут правильно выполнять процесс содействия, чтобы уменьшать нагрузку на наблюдающего человека в отслеживании конкретного человека, наблюдая захваченные изображения, полученные посредством множества камер и отображенные на экране устройства отображения, так что наблюдающий человек может продолжать отслеживание без потери из виду наблюдаемого человека, и, таким образом, являются полезными в качестве устройства содействия отслеживанию, системы содействия отслеживанию и способа содействия отслеживанию для содействия наблюдающему человеку в отслеживании движущегося объекта, который должен отслеживаться посредством отображения на экране устройства отображения, на котором множество секций отображения размещены так, чтобы отображать захваченные изображения, полученные посредством соответствующих камер и сохраненные в устройстве хранения изображений.

Claims

1. Устройство содействия отслеживанию для содействия наблюдающему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, посредством отображения на устройстве (7) отображения экрана, на котором множество видов (43a-43d) отображения для отображения захваченных изображений, полученных посредством соответствующих камер (1a-1d) и сохраненных в блоке (2) хранения изображений, размещены на изображении (41) карты, представляющем наблюдаемую область в соответствии с фактическим размещением камер (1a-1d), причем устройство содержит:
блок (23) задания цели, которая должна отслеживаться, который инструктирует, чтобы захваченные изображения, сохраненные в блоке хранения изображений, отображались в видах (43a-43d) отображения в соответствии с указанным условием поиска, таким как время захвата, и, в ответ на операцию ввода, выполненную наблюдающим человеком на одном из видов отображения, чтобы назначить движущийся объект, который должен отслеживаться, задает назначенный движущийся объект в качестве цели, которая должна отслеживаться;
блок (24) выбора камеры, который, на основе информации слежения, полученной посредством обработки захваченных изображений, выбирает любую из камер (1a-1d), которая, как предполагается, должна иметь полученное изображение движущегося объекта, назначенного в качестве цели, которая должна отслеживаться, среди камер (1a-1d), отличных от камеры, соответствующей виду отображения, в котором была назначена цель, которая должна отслеживаться;
блок (31) представления изображения подтверждения, который, на основе информации слежения, относящейся к движущемуся объекту, заданному в качестве цели, которая должна отслеживаться, извлекает из захваченных изображений, полученных посредством каждой камеры, выбранной посредством блока (24) выбора камеры, изображение подтверждения, которое является захваченным изображением, полученным посредством каждой камеры, выбранной посредством блока (24) выбора камеры, когда слежение за движущимся объектом было начато, и, как предполагается, должно включать в себя движущийся объект, и инструктирует устройство (7) отображения отображать экран подтверждения цели, которая должна отслеживаться, на котором размещено(ы) изображение(я) подтверждения; и
блок (27) воспроизведения, который выполняет непрерывное воспроизведение, в котором захваченные изображения, из которых изображение(я) подтверждения извлечено(ы) посредством блока (31) представления изображения подтверждения, отображаются во множестве видов (43a-43d) отображения последовательно вместе с ходом времени.

2. Устройство содействия отслеживанию по п. 1, дополнительно содержащее блок (28) формирования экранов, включающий в себя:
блок (38) указания цели, которая должна отслеживаться, который предоставляет первое выделение, чтобы выделять рамку (48) движущегося объекта, ассоциированную с движущимся объектом, заданным в качестве цели, которая должна отслеживаться; и
блок (37) указания вида отображения, который предоставляет второе выделение, чтобы выделять рамку (45) отображения, ассоциированную с видом отображения, в котором движущийся объект, заданный в качестве цели, которая должна отслеживаться, виден в настоящее время на экране непрерывного воспроизведения, в котором выполняется непрерывное воспроизведение.

3. Устройство содействия отслеживанию по п. 1 или 2, в котором в случае, когда слежение за движущимся объектом, заданным в качестве цели, которая должна отслеживаться, прерывается в информации слежения, блок (37) указания вида отображения одновременно указывает два вида отображения, которые отображают захваченные изображения, включающие в себя движущийся объект, заданный в качестве цели, которая должна отслеживаться, соответственно, до и после периода, в котором слежение прерывается.

4. Устройство содействия отслеживанию по п. 1, дополнительно содержащее:
блок (33) выбора кандидатов, который, когда существует ошибка в информации слежения, относящейся к движущемуся объекту, заданному в качестве цели, которая должна отслеживаться, выбирает в качестве кандидата(ов) движущийся(еся) объект(ы), имеющий(е) высокую степень соответствия с движущимся объектом, заданным в качестве цели, которая должна отслеживаться, на основе информации слежения;
блок (34) представления изображения кандидата, который извлекает в качестве изображения(й) кандидата захваченное(ые) изображение(я), в которое(ые) включен(ы) движущийся(еся) объект(ы), выбранный(ые) в качестве кандидата(ов), и инструктирует устройство (7) отображения отображать экран выбора кандидата, на котором размещено(ы) изображение(я) кандидата, так что наблюдающий человек выбирает на экране выбора кандидата изображение кандидата, в которое включен движущийся объект, назначенный в качестве цели, которая должна отслеживаться; и
блок (35) корректировки информации слежения, который меняет цель, которая должна отслеживаться, на движущийся объект, включенный в изображение кандидата, выбранное на экране выбора кандидата, и корректирует информацию слежения, относящуюся к движущемуся объекту, назначенному в качестве цели, которая должна отслеживаться.

5. Устройство содействия отслеживанию по п. 1, в котором процессы, выполняемые посредством блока (24) выбора камеры и блока (27) воспроизведения, выполняются относительно событий, возникающих до, после или и до, и после времени захвата изображения назначения цели, которая должна отслеживаться, по которому наблюдающий человек назначил движущийся объект, который должен отслеживаться.

6. Система содействия отслеживанию для содействия наблюдающему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, посредством отображения на устройстве (7) отображения экрана, на котором множество видов (43a-43d) отображения для отображения захваченных изображений, полученных посредством соответствующих камер (1a-1d) и сохраненных в блоке (2) хранения изображений, размещены на изображении (41) карты, представляющем наблюдаемую область в соответствии с фактическим размещением камер (1a-1d), причем система содержит:
камеры (1a-1d), получающие изображения наблюдаемой области;
устройство (7) отображения, отображающее экран; и
множество устройств (3, 11, 12, 13) обработки информации,
при этом множество устройств (3, 11, 12, 13) обработки информации совместно включают в себя:
блок (4, 5, 21) обработки слежения, который следит за движущимся объектом(ами), обнаруженным(и) из захваченных изображений, полученных посредством камер, и формирует информацию слежения для каждого движущегося объекта;
блок (23) задания цели, которая должна отслеживаться, который инструктирует, чтобы захваченные изображения, сохраненные в блоке хранения изображений, отображались в видах (43a-43d) отображения в соответствии с указанным условием поиска, таким как время захвата, и, в ответ на операцию ввода, выполненную наблюдающим человеком на одном из видов отображения, чтобы назначить движущийся объект, который должен отслеживаться, задает назначенный движущийся объект в качестве цели, которая должна отслеживаться;
блок (24) выбора камеры, который, на основе информации слежения, полученной от блока обработки слежения, выбирает любую из камер (1a-1d), которая, как предполагается, должна иметь полученное изображение движущегося объекта, назначенного в качестве цели, которая должна отслеживаться, среди камер (1a-1d), отличных от камеры, соответствующей виду отображения, по которому была назначена цель, которая должна отслеживаться;
блок (31) представления изображения подтверждения, который, на основе информации слежения, относящейся к движущемуся объекту, заданному в качестве цели, которая должна отслеживаться, извлекает из захваченных изображений, полученных посредством каждой камеры, выбранной посредством блока (24) выбора камеры, изображение подтверждения, которое является захваченным изображением, полученным посредством каждой камеры, выбранной посредством блока (24) выбора камеры, когда слежение за движущимся объектом было начато, и, как предполагается, должно включать в себя движущийся объект, и инструктирует устройство (7) отображения отображать экран подтверждения цели, которая должна отслеживаться, на котором размещено(ы) изображение(я) подтверждения; и
блок (27) воспроизведения, который выполняет непрерывное воспроизведение, в котором захваченные изображения, из которых изображение(я) подтверждения извлечено(ы) посредством блока (31) представления изображения подтверждения, отображаются во множестве видов (43a-43d) отображения последовательно вместе с ходом времени.

7. Способ содействия отслеживанию для содействия наблюдающему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, посредством отображения на устройстве (7) отображения экрана, на котором множество видов (43a-43d) отображения для отображения захваченных изображений, полученных посредством соответствующих камер (1a-1d) и сохраненных в блоке (2) хранения изображений, размещены на изображении (41) карты, представляющем наблюдаемую область в соответствии с фактическим размещением камер (1a-1d), причем способ содержит:
этап, на котором инструктируют, чтобы захваченные изображения, сохраненные в блоке (2) хранения изображений, отображались в видах (43a-43d) отображения в соответствии с указанным условием поиска, таким как время захвата, и, в ответ на операцию ввода, выполненную наблюдающим человеком на одном из видов отображения, чтобы назначить движущийся объект, который должен отслеживаться, задают назначенный движущийся объект в качестве цели, которая должна отслеживаться;
этап, на котором выбирают, на основе информации слежения, полученной посредством обработки захваченных изображений, любую из камер (1a-1d), которая, как предполагается, должна иметь полученное изображение движущегося объекта, назначенного в качестве цели, которая должна отслеживаться, среди камер (1a-1d), отличных от камеры, соответствующей виду отображения, в котором была назначена цель, которая должна отслеживаться;
этап, на котором, на основе информации слежения, относящейся к движущемуся объекту, заданному в качестве цели, которая должна отслеживаться, извлекают из захваченных изображений, полученных посредством каждой камеры, выбранной на этапе выбора, изображение подтверждения, которое является захваченным изображением, полученным посредством каждой камеры, выбранной на этапе выбора, когда слежение за движущимся объектом было начато, и, как предполагается, должно включать в себя движущийся объект, и инструктируют устройству отображения отображать экран подтверждения цели, которая должна отслеживаться, на котором размещено(ы) изображение(я) подтверждения; и
этап, на котором выполняют непрерывное воспроизведение, в котором захваченные изображения, из которых изображение(я) подтверждения извлечено(ы) на этапе извлечения, отображаются во множестве видов (43a-43d) отображения последовательно вместе с ходом времени.