JP2020086888A - Information transmission system, information processing terminal, imaging device, and information transmission method - Google Patents

Information transmission system, information processing terminal, imaging device, and information transmission method Download PDF

Info

Publication number
JP2020086888A
JP2020086888A JP2018219862A JP2018219862A JP2020086888A JP 2020086888 A JP2020086888 A JP 2020086888A JP 2018219862 A JP2018219862 A JP 2018219862A JP 2018219862 A JP2018219862 A JP 2018219862A JP 2020086888 A JP2020086888 A JP 2020086888A
Authority
JP
Japan
Prior art keywords
information
information processing
processing terminal
image capturing
storage medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018219862A
Other languages
Japanese (ja)
Other versions
JP7135777B2 (en
Inventor
謙二 醍醐
Kenji Daigo
謙二 醍醐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2018219862A priority Critical patent/JP7135777B2/en
Publication of JP2020086888A publication Critical patent/JP2020086888A/en
Application granted granted Critical
Publication of JP7135777B2 publication Critical patent/JP7135777B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Camera Data Copying Or Recording (AREA)
  • Studio Devices (AREA)

Abstract

To provide an information transmission system having a function of preventing an imaging device of a general user (e.g., an owner of the imaging device) from being stolen.SOLUTION: In an information transmission system including an imaging device and an information processing terminal that are capable of communicating with each other using short-range wireless communication standards, the imaging device includes an imaging device side storage medium and imaging device side storage means for storing authentication information in the imaging device side storage medium, and the information processing terminal includes a terminal side storage medium, terminal side storage means for storing authentication information and predetermined contact address in the terminal side storage medium, collation means for collating the authentication information stored in the imaging device side storage medium with the authentication information stored in the terminal side storage medium, and information processing means for collecting, if the collation result by the collation means indicates a mismatch of the authentication information, at least one of predetermined information relating to the imaging device, predetermined information relating to the information processing terminal, and image data captured by the imaging device, and for transmitting the collected information to the contact address.SELECTED DRAWING: Figure 4

Description

本発明は、情報送信システム、情報処置端末、撮影装置及び情報送信方法に関する。 The present invention relates to an information transmitting system, an information processing terminal, a photographing device, and an information transmitting method.

デジタルカメラ等の撮影装置(例示的には、一眼レフカメラに代表される高級機種)は盗難にあう虞がある。このような盗難を防止したり抑止したりする技術が知られている。例えば特許文献1に、撮影装置の盗難を防止する盗難防止装置の具体的構成が記載されている。 An image capturing device such as a digital camera (exemplarily a high-end model represented by a single-lens reflex camera) may be stolen. Techniques for preventing or suppressing such theft are known. For example, Patent Document 1 describes a specific configuration of an antitheft device that prevents theft of an image capturing device.

特許文献1に記載の盗難防止装置は、支持体(例えば店内に設置したディスプレー用棚の一部分)に索条を取り付け、索条に連結された支持台に撮影装置を固定する構成となっている。撮影装置が支持台及び索条によってディスプレー用棚に固定されているため、来店した客は撮影装置を容易には盗むことができない。 The anti-theft device described in Patent Document 1 has a structure in which a rope is attached to a support (for example, a part of a display shelf installed in a store), and the photographing device is fixed to a support base connected to the rope. .. Since the photographing device is fixed to the display shelf by the support and the rope, the customer who visits the store cannot easily steal the photographing device.

特開平11−134565号公報JP, 11-134565, A

特許文献1に記載の盗難防止装置は、展示品の撮影装置の盗難を防止したり抑止したりするのに好適ではあるが、携帯性に乏しく、また、索条を取り付ける支持体が設置されている場所でしか使用することができない。そのため、この盗難防止装置は、旅先や日常的に撮影装置を携帯する一般ユーザ(例えば一般的な撮影装置の所有者)の撮影装置の盗難を防止したり抑止したりするのには不向きである。撮影装置の所有者によっては、撮影装置が盗難されることを恐れて、撮影装置から所有者が離れる状況での使用を前提とした機能(例えば遠隔操作や遠隔撮影)を利用しない、ということも考えられる。 The anti-theft device described in Patent Document 1 is suitable for preventing or suppressing the theft of an imaging device for an exhibit, but it is poor in portability, and a support for attaching a cord is installed. Can only be used in locations where Therefore, the anti-theft device is not suitable for preventing or deterring the theft of the photographing device of a general user who carries the photographing device on a trip or on a daily basis (for example, a general owner of the photographing device). .. Some owners of image capturing devices may not use functions (for example, remote control or remote image capturing) that are intended for use when the owner is away from the image capturing device, fearing that the image capturing device may be stolen. Conceivable.

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、一般ユーザ(例えば撮影装置の所有者)の撮影装置の盗難の抑止につながる機能を有する情報送信システム、情報処置端末及び撮影装置、並びに一般ユーザの撮影装置の盗難の抑止につながる処理をコンピュータに実行させる情報送信方法を提供することである。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an information transmission system and information processing having a function of suppressing the theft of a photographing device of a general user (for example, an owner of the photographing device). An object of the present invention is to provide an information transmission method that causes a computer to execute processing that leads to the prevention of theft of a terminal, a photographing device, and a general user.

本発明の一実施形態に係る情報送信システムは、近距離無線通信規格を用いて相互通信することが可能な撮影装置と情報処理端末とを備えるシステムである。撮影装置は、撮影装置側記憶媒体と、認証情報を撮影装置側記憶媒体に記憶させる撮影装置側記憶手段とを備える。情報処理端末は、端末側記憶媒体と、認証情報及び所定の連絡先を端末側記憶媒体に記憶させる端末側記憶手段と、撮影装置側記憶媒体に記憶された認証情報と端末側記憶媒体に記憶された認証情報とを照合する照合手段と、照合手段による照合結果が認証情報の不一致を示すものである場合、撮影装置に関する所定の情報、情報処理端末に関する所定の情報、撮影装置による撮影画像データ、のうちの少なくとも1つ、を収集して連絡先に送信する情報処理手段とを備える。 An information transmission system according to an embodiment of the present invention is a system including an imaging device and an information processing terminal capable of mutual communication using a short-range wireless communication standard. The image capturing apparatus includes an image capturing apparatus side storage medium and image capturing apparatus side storage means for storing authentication information in the image capturing apparatus side storage medium. The information processing terminal includes a terminal-side storage medium, terminal-side storage means for storing authentication information and a predetermined contact in the terminal-side storage medium, authentication information stored in the image-capturing-device-side storage medium, and storage in the terminal-side storage medium. If the collation unit that collates the authentication information that is obtained and the collation result obtained by the collation unit indicate that the authentication information does not match, predetermined information regarding the image capturing device, predetermined information regarding the information processing terminal, and image data captured by the image capturing device. , And at least one of the.

本発明の一実施形態によれば、一般ユーザ(例えば撮影装置の所有者)の撮影装置の盗難の抑止につながる機能を有する情報送信システム、情報処置端末及び撮影装置、並びに一般ユーザの撮影装置の盗難の抑止につながる処理をコンピュータに実行させる情報送信方法が提供される。 According to an embodiment of the present invention, an information transmission system, an information processing terminal and an image capturing apparatus having a function of preventing theft of the image capturing apparatus of a general user (for example, an owner of the image capturing apparatus), and an image capturing apparatus of the general user are provided. Provided is an information transmission method that causes a computer to execute processing that leads to the prevention of theft.

本発明の一実施形態に係る情報送信システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information transmission system which concerns on one Embodiment of this invention. 図2(a)及び図2(b)は、本発明の一実施形態に係る情報送信システムに備えられる情報処理端末のタッチパネルに表示される撮影装置用アプリケーションの設定画面を示す図である。FIG. 2A and FIG. 2B are diagrams showing a setting screen of an application for a photographing device displayed on a touch panel of an information processing terminal included in the information transmission system according to the embodiment of the present invention. 本発明の一実施形態に係る情報送信システムに備えられる撮影装置のLCDに表示されるセキュリティ設定画面を示す図である。It is a figure which shows the security setting screen displayed on LCD of the imaging device with which the information transmission system which concerns on one Embodiment of this invention is equipped. 本発明の一実施形態において、撮影装置用アプリケーションと撮影装置とが連携して実行する、盗難検知及び盗難通知の処理を示すシーケンス図である。FIG. 6 is a sequence diagram showing the theft detection and theft notification processing executed by the image pickup apparatus application and the image pickup apparatus in cooperation with each other in the embodiment of the present invention. 本発明の別の一実施形態において、撮影装置が実行する、盗難検知及び盗難通知の処理を示すフローチャートである。9 is a flowchart showing the theft detection and theft notification processing executed by the image capturing apparatus according to another embodiment of the present invention.

以下、本発明の一実施形態に係る情報送信システムについて図面を参照しながら説明する。 An information transmission system according to an embodiment of the present invention will be described below with reference to the drawings.

図1は、本発明の一実施形態に係る情報送信システム1の構成を示すブロック図である。図1に示されるように、情報送信システム1は、撮影装置10及び情報処理端末20を備えている。 FIG. 1 is a block diagram showing the configuration of an information transmission system 1 according to an embodiment of the present invention. As shown in FIG. 1, the information transmission system 1 includes a photographing device 10 and an information processing terminal 20.

本実施形態において、撮影装置10は一眼レフカメラであり、情報処理端末20はスマートフォンである。別の実施形態では、撮影装置10は、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、カムコーダなど、別の形態の撮影装置であってもよい。情報処理端末20は、PHS(Personal Handy phone System)、フィーチャフォン、ノートPC、タブレットPC、携帯ゲーム機など、別の形態の情報処理端末であってもよい。 In the present embodiment, the imaging device 10 is a single-lens reflex camera, and the information processing terminal 20 is a smartphone. In another embodiment, the image capturing device 10 may be another form of image capturing device such as a compact digital camera, a mirrorless single-lens camera, a video camera, or a camcorder. The information processing terminal 20 may be another type of information processing terminal such as a PHS (Personal Handy phone System), a feature phone, a notebook PC, a tablet PC, or a portable game machine.

撮影装置10は、システムコントローラ100、操作部102、駆動回路104、撮影レンズ106、絞り108、シャッタ110、固体撮像素子112、信号処理回路114、画像処理エンジン116、バッファメモリ118、LCD(Liquid Crystal Display)120、ROM(Read Only Memory)122、フラッシュメモリ124、カード用インタフェース126、近距離無線通信インタフェース128及びGPS(Global Positioning System)レシーバ130を備えている。なお、撮影レンズ106は複数枚構成のズームレンズであるが、図1においては、便宜上一枚のレンズとして示す。 The image capturing apparatus 10 includes a system controller 100, an operation unit 102, a driving circuit 104, a photographing lens 106, an aperture 108, a shutter 110, a solid-state image sensor 112, a signal processing circuit 114, an image processing engine 116, a buffer memory 118, and an LCD (Liquid Crystal). A display) 120, a ROM (Read Only Memory) 122, a flash memory 124, a card interface 126, a short-range wireless communication interface 128, and a GPS (Global Positioning System) receiver 130. Although the taking lens 106 is a zoom lens having a plurality of lenses, it is shown as a single lens in FIG. 1 for convenience.

操作部102には、電源ボタンやレリーズボタン、撮影モードボタンなど、ユーザが撮影装置10を操作するために必要な各種ボタンやダイヤルが含まれる。ユーザにより電源ボタンが操作されると、図示省略されたバッテリから撮影装置10の各種回路に電源ラインを通じて電源供給が行われる。 The operation unit 102 includes various buttons and dials necessary for the user to operate the imaging device 10, such as a power button, a release button, and a shooting mode button. When the power button is operated by the user, power is supplied from a battery (not shown) to various circuits of the image capturing apparatus 10 through power lines.

システムコントローラ100は、CPU(Central Processing Unit)及びDSP(Digital Signal Processor)を含む。システムコントローラ100は電源供給後、ROM122にアクセスして制御プログラムを読み出してワークエリア(不図示)にロードし、ロードされた制御プログラムを実行することにより、撮影装置10全体の制御を行う。 The system controller 100 includes a CPU (Central Processing Unit) and a DSP (Digital Signal Processor). After power is supplied, the system controller 100 accesses the ROM 122, reads a control program, loads the control program into a work area (not shown), and executes the loaded control program to control the entire imaging apparatus 10.

例えば、レリーズボタンが操作されると、システムコントローラ100は、固体撮像素子112により撮像された画像に基づいて計算された測光値や、撮影装置10に内蔵された露出計(不図示)で測定された測光値に基づき適正露出が得られるように、駆動回路104を介して絞り108及びシャッタ110を駆動制御する。 For example, when the release button is operated, the system controller 100 measures the photometric value calculated based on the image captured by the solid-state image sensor 112 or the exposure meter (not shown) built in the imaging device 10. The diaphragm 108 and the shutter 110 are drive-controlled via the drive circuit 104 so that the proper exposure can be obtained based on the measured light value.

より詳細には、絞り108及びシャッタ110の駆動制御は、プログラムAE(Automatic Exposure)、シャッタ優先AE、絞り優先AEなど、撮影モードボタンにより指定されるAE機能に基づいて行われる。 More specifically, the drive control of the aperture 108 and the shutter 110 is performed based on the AE function designated by the shooting mode button, such as program AE (Automatic Exposure), shutter priority AE, and aperture priority AE.

システムコントローラ100はAE制御と併せてAF(Autofocus)制御を行う。AF制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。また、AFモードには、中央一点の測距エリアを用いた中央一点測距モード、複数の測距エリアを用いた多点測距モード等がある。システムコントローラ100は、AF結果に基づいて駆動回路104を介して撮影レンズ106を駆動制御し、撮影レンズ106の焦点を調整する。なお、この種のAE及びAFの構成及び制御については周知であるため、ここでの詳細な説明は省略する。 The system controller 100 performs AF (Autofocus) control together with AE control. An active method, a phase difference detection method, a contrast detection method, or the like is applied to the AF control. Further, the AF mode includes a central one-point distance measuring mode using a central one-point distance measuring area, a multi-point distance measuring mode using a plurality of distance measuring areas, and the like. The system controller 100 drives and controls the taking lens 106 via the drive circuit 104 based on the AF result, and adjusts the focus of the taking lens 106. Since the configuration and control of this type of AE and AF are well known, detailed description thereof is omitted here.

被写体からの光束は、撮影レンズ106、絞り108、シャッタ110を通過して固体撮像素子112の受光面にて受光される。固体撮像素子112は、ベイヤ配列フィルタを搭載したCMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、撮影レンズ106を介して受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積する。固体撮像素子112は、蓄積された電荷をフローティングディフュージョンアンプにて電圧(以下「画像信号」と記す。)に変換する。固体撮像素子112より出力された画像信号は、信号処理回路114に入力される。固体撮像素子112は、CCD(Charge Coupled Device)イメージセンサであってもよく、また、補色系フィルタを搭載したイメージセンサであってもよい。 The light flux from the subject passes through the taking lens 106, the diaphragm 108, and the shutter 110, and is received by the light receiving surface of the solid-state image sensor 112. The solid-state imaging device 112 is a CMOS (Complementary Metal Oxide Semiconductor) image sensor equipped with a Bayer array filter, and accumulates an optical image formed at each pixel on the light receiving surface through the taking lens 106 as electric charge according to the amount of light. To do. The solid-state image sensor 112 converts the accumulated charges into a voltage (hereinafter referred to as “image signal”) by a floating diffusion amplifier. The image signal output from the solid-state image sensor 112 is input to the signal processing circuit 114. The solid-state image sensor 112 may be a CCD (Charge Coupled Device) image sensor, or may be an image sensor equipped with a complementary color filter.

信号処理回路114は、固体撮像素子112より入力される画像信号に対してクランプ、デモザイク等の所定の信号処理を施して、画像処理エンジン116に出力する。 The signal processing circuit 114 subjects the image signal input from the solid-state image sensor 112 to predetermined signal processing such as clamping and demosaicing, and outputs the image signal to the image processing engine 116.

画像処理エンジン116は、信号処理回路114より入力される画像信号に対してマトリクス演算、Y/C分離、ホワイトバランス等の所定の信号処理を施して輝度信号Y、色差信号Cb、Crを生成し、JPEG(Joint Photographic Experts Group)等の所定のフォーマットで圧縮する。撮影画像データの保存形式は、JPEG形式に限らず、最小限の画像処理(例えば黒レベルの補正等)しか施されないRAW形式であってもよい。バッファメモリ118は、画像処理エンジン116による処理の実行時、処理データの一時的な保存場所として用いられる。 The image processing engine 116 subjects the image signal input from the signal processing circuit 114 to predetermined signal processing such as matrix calculation, Y/C separation, and white balance to generate a luminance signal Y and color difference signals Cb and Cr. , JPEG (Joint Photographic Experts Group) or other predetermined format. The storage format of the captured image data is not limited to the JPEG format, and may be a RAW format in which only minimum image processing (for example, black level correction) is performed. The buffer memory 118 is used as a temporary storage place of the processed data when the processing by the image processing engine 116 is executed.

画像処理エンジン116は、輝度信号Y、色差信号Cb、Crを所定のビデオ信号に変換してLCD120に出力する。LCD120は、画像処理エンジン116より入力されるビデオ信号を基に液晶を変調制御する。これにより、被写体の撮影画像がLCD120の表示画面に表示される。ユーザは、AE制御及びAF制御に基づいて適正な露出及びピントで撮影されたリアルタイムのスルー画(ライブビュー)を、LCD120の表示画面を通じて視認することができる。 The image processing engine 116 converts the luminance signal Y and the color difference signals Cb and Cr into predetermined video signals and outputs them to the LCD 120. The LCD 120 modulates and controls the liquid crystal based on the video signal input from the image processing engine 116. As a result, the captured image of the subject is displayed on the display screen of the LCD 120. The user can visually recognize a real-time live view (live view) taken with proper exposure and focus based on the AE control and the AF control through the display screen of the LCD 120.

カード用インタフェース126のカードスロットには、メモリカード(不図示)が着脱可能に挿し込まれる。画像処理エンジン116は、カード用インタフェース126を介してメモリカードと通信可能である。画像処理エンジン116は、生成された撮影画像データをメモリカード又はフラッシュメモリ124に保存する。 A memory card (not shown) is detachably inserted into the card slot of the card interface 126. The image processing engine 116 can communicate with the memory card via the card interface 126. The image processing engine 116 saves the generated captured image data in the memory card or the flash memory 124.

近距離無線通信インタフェース128は、Wi-FiやBluetooth(登録商標、BLE(Bluetooth Low Energy)等の拡張仕様も含む。)、NFC(Near Field Communication)等の近距離無線通信規格をサポートするインタフェースである。画像処理エンジン116によって生成された撮影画像データは、これらの近距離無線通信規格を用いて情報処理端末20や他の外部装置に転送されてもよく、また、アクセスポイントを介して(すなわちWi-Fi経由で)ネットワーク上のサーバ(クラウドを含む。)にアップロードされてもよい。 The short-range wireless communication interface 128 is an interface that supports short-range wireless communication standards such as Wi-Fi, Bluetooth (registered trademark, extended specifications such as BLE (Bluetooth Low Energy), etc.) and NFC (Near Field Communication). is there. The captured image data generated by the image processing engine 116 may be transferred to the information processing terminal 20 or another external device by using these short-range wireless communication standards, or via an access point (that is, Wi- It may be uploaded to a server (including cloud) on the network (via Fi).

GPSレシーバ130は、複数のGPS衛星から発信されている信号を受信して演算することによって、受信地点(すなわち撮影装置10)の三次元の位置情報を取得する。GPSレシーバ130に搭載された不図示のメモリには、所定期間の位置情報が蓄積される。蓄積された所定期間の位置情報は、新たな位置情報が取得される毎に最新の内容に更新される。この所定期間は、現時点を終点とし、現時点から一定期間遡った時点を始点とする期間である。 The GPS receiver 130 acquires three-dimensional position information of the reception point (that is, the imaging device 10) by receiving and calculating signals transmitted from a plurality of GPS satellites. Position information for a predetermined period is accumulated in a memory (not shown) mounted on the GPS receiver 130. The accumulated position information for the predetermined period is updated to the latest content every time new position information is acquired. This predetermined period is a period starting from the present point in time and starting from a point in time going back a certain period from the present point.

図1に示されるように、情報処理端末20は、CPU200、RAM(Random Access Memory)等の主記憶装置202、フラッシュメモリ等の補助記憶装置204、キャリア通信インタフェース206、タッチパネル208、近距離無線通信インタフェース210及びGPSレシーバ212を備えている。なお、図面を簡略化する便宜上、各ブロックの結線の図示を省略している。 As shown in FIG. 1, the information processing terminal 20 includes a CPU 200, a main storage device 202 such as a RAM (Random Access Memory), an auxiliary storage device 204 such as a flash memory, a carrier communication interface 206, a touch panel 208, near field communication. The interface 210 and the GPS receiver 212 are provided. For simplification of the drawing, the connection of each block is not shown.

CPU200は、情報処理端末20の電源投入後、必要なハードウェアにアクセスする。具体的には、CPU200は、補助記憶装置204にアクセスしてOS(Operating System)204aを読み出して、主記憶装置202にロードして起動させる。以後、CPU200とOS204aとが協働することにより、情報処理端末20による各種処理が実行される。例えば、補助記憶装置204には、撮影装置用アプリケーション204bをはじめとする複数種類のアプリケーションがインストールされている。各種アプリケーションは、OS204aによるリソース及びプロセスの管理下で動作する。 The CPU 200 accesses necessary hardware after turning on the power of the information processing terminal 20. Specifically, the CPU 200 accesses the auxiliary storage device 204, reads out an OS (Operating System) 204a, loads it into the main storage device 202, and activates it. Thereafter, the CPU 200 and the OS 204a cooperate with each other to execute various processes by the information processing terminal 20. For example, the auxiliary storage device 204 is installed with a plurality of types of applications such as the imaging device application 204b. Various applications operate under the control of resources and processes by the OS 204a.

情報処理端末20は、キャリア通信インタフェース206を介して3G(3rd Generation)回線やLTE(Long Term Evolution)回線等のキャリア回線に接続し、ネットワーク上のサーバにアクセスすることができる。 The information processing terminal 20 can access a server on the network by connecting to a carrier line such as a 3G (3rd Generation) line or an LTE (Long Term Evolution) line via the carrier communication interface 206.

ユーザは、タッチパネル208上に表示された画面に対してペンタッチやフィンガタッチによる入力や、フリック操作(画面上を指ではらう操作)による画面スクロール、ピンチ操作(二本の指の間を画面上で拡げる又は縮める操作)によるズームイン/ズームアウト等の各種操作を行うことができる。 The user inputs with a pen touch or finger touch on the screen displayed on the touch panel 208, scrolls the screen with a flick operation (an operation to move a finger on the screen), and a pinch operation (a space between two fingers is displayed on the screen). Various operations such as zoom-in/zoom-out (expansion or contraction) can be performed.

近距離無線通信インタフェース210は、Wi-FiやBluetooth、NFC等の近距離無線通信規格をサポートするインタフェースである。情報処理端末20は、近距離無線通信インタフェース210により、撮影装置10や他の外部装置と無線通信することができ、また、アクセスポイントを介してネットワーク上のサーバにアクセスすることもできる。 The short-range wireless communication interface 210 is an interface that supports short-range wireless communication standards such as Wi-Fi, Bluetooth, and NFC. The information processing terminal 20 can wirelessly communicate with the imaging device 10 and other external devices through the short-range wireless communication interface 210, and can also access a server on the network via an access point.

GPSレシーバ212は、複数のGPS衛星から発信されている信号を受信して演算することによって、受信地点(すなわち情報処理端末20)の三次元の位置情報を取得する。GPSレシーバ212に搭載された不図示のメモリには、所定期間の位置情報が蓄積される。蓄積された所定期間の位置情報は、新たな位置情報が取得される毎に最新の内容に更新される。この所定期間は、現時点を終点とし、現時点から一定期間遡った時点を始点とする期間である。 The GPS receiver 212 receives the signals transmitted from a plurality of GPS satellites and calculates the signals to acquire three-dimensional position information of the reception point (that is, the information processing terminal 20). Position information for a predetermined period is stored in a memory (not shown) mounted on the GPS receiver 212. The accumulated position information for the predetermined period is updated to the latest content every time new position information is acquired. This predetermined period is a period starting from the present point in time and starting from a point in time going back a certain period from the present point.

撮影装置用アプリケーション204bは、撮影装置10と連携することにより、撮影装置10が盗難されたときにこれ(撮影装置10が盗難されたこと)を撮影装置10の所有者に通知する機能を備えている。撮影装置用アプリケーション204bには、情報処理端末20を用いて撮影装置10を遠隔操作したり遠隔撮影したり撮影装置10による撮影画像を管理したりする等といった利便性の高い機能も備えられているが、本実施形態では、これらの機能についての具体的な説明は省略する。 The imaging device application 204b has a function of notifying the owner of the imaging device 10 when the imaging device 10 is stolen by cooperating with the imaging device 10. There is. The image capturing device application 204b is also provided with highly convenient functions such as remotely operating the image capturing device 10 using the information processing terminal 20, performing remote image capturing, and managing images captured by the image capturing device 10. However, in the present embodiment, a detailed description of these functions will be omitted.

図2(a)及び図2(b)は、撮影装置用アプリケーション204bの設定画面を示す。図2(a)は、ユーザ情報の入力画面S1である。撮影装置用アプリケーション204bは、例えば撮影装置10とのペアリング時に撮影装置10の製品名(機種名)及びシリアル番号を取得し、取得された撮影装置10の製品名及びシリアル番号を入力画面S1の上段に表示する。 2A and 2B show setting screens of the imaging device application 204b. FIG. 2A shows a user information input screen S1. The imaging device application 204b acquires, for example, the product name (model name) and serial number of the imaging device 10 when pairing with the imaging device 10, and the acquired product name and serial number of the imaging device 10 are displayed on the input screen S1. Display on top.

撮影装置用アプリケーション204bは、入力画面S1の下段に、お客様情報のフォームを表示する。撮影装置10の所有者は、図2(a)に示されるように、お客様情報のフォームの各フィールドに自身の情報を入力する。撮影装置10の所有者によって入力画面S1の決定ボタンB1がタッチされると、撮影装置用アプリケーション204bは、お客様情報のフォームの各フィールドに入力された情報を例えば補助記憶装置204に保存する。 The imaging device application 204b displays a customer information form at the bottom of the input screen S1. As shown in FIG. 2A, the owner of the photographing apparatus 10 inputs his own information in each field of the customer information form. When the owner of the image capturing device 10 touches the enter button B1 on the input screen S1, the image capturing device application 204b stores the information input in each field of the customer information form in the auxiliary storage device 204, for example.

図2(b)は、セキュリティ設定画面S2である。撮影装置用アプリケーション204bは、セキュリティ設定画面S2の上段に、「緊急連絡先」、「セキュリティKEY(認証情報の一例)」、「パスワード」の各フィールドを表示する。撮影装置用アプリケーション204bは、セキュリティ設定画面S2の下段に、「確認タイミング」、「送信情報」の各フィールドを表示する。 FIG. 2B is a security setting screen S2. The imaging device application 204b displays fields of "emergency contact", "security key (an example of authentication information)", and "password" at the top of the security setting screen S2. The imaging device application 204b displays the fields of "confirmation timing" and "transmission information" at the bottom of the security setting screen S2.

撮影装置10の所有者は、「緊急連絡先」のフィールド(e−mail及びSMSのラジオボタンを含む。)に、撮影装置10の盗難検知時にこれ(撮影装置10が盗難されたこと)を通知する連絡先を入力する。 The owner of the image capturing apparatus 10 notifies the field (including e-mail and SMS radio buttons) of the “emergency contact” when the image capturing apparatus 10 is detected as stolen (the image capturing apparatus 10 has been stolen). Enter the contact you want to contact.

撮影装置10の所有者は、「セキュリティKEY」のフィールドに、撮影装置10の盗難を検知するための任意の文字列を入力する。撮影装置10の所有者は、セキュリティKEYとして、例えば、好きなキーワードを入力してもよく、また、上記の緊急連絡先や情報処理端末20の電話番号、メールアドレスを入力してもよい。 The owner of the image capturing apparatus 10 inputs an arbitrary character string for detecting the theft of the image capturing apparatus 10 in the “security key” field. As the security key, the owner of the photographing apparatus 10 may input any keyword, or may input the above-mentioned emergency contact information or the telephone number or mail address of the information processing terminal 20.

撮影装置10の所有者は、「確認タイミング」のフィールドに、撮影装置10が盗難されたか否かを確認するタイミング(以下、「盗難確認タイミング」と記す。)を入力する。撮影装置10の所有者は、「接続開始時」のラジオボタンを選択することにより、撮影装置10と情報処理端末20(又は後述する、撮影装置10の盗難者の情報処理端末20T)との接続が開始されたタイミング(例えばWi-Fiのハンドシェイク直後やBluetoothのペアリング直後のタイミング)を盗難確認タイミングとして設定することができ、また、「常時」のラジオボタンを選択し且つ「常時確認時間隔」のフィールドに時間間隔を入力することにより、盗難確認タイミングの時間間隔を設定することができる。盗難確認タイミングとして「常時」が選択された場合、撮影装置10と情報処理端末20間の通信で消費される電力を抑えるため、撮影装置10の盗難確認がBLE通信で行われてもよい。 The owner of the image capturing apparatus 10 inputs the timing of confirming whether or not the image capturing apparatus 10 has been stolen (hereinafter referred to as “theft confirmation timing”) in the “confirmation timing” field. The owner of the photographing apparatus 10 selects the radio button "when connection starts" to connect the photographing apparatus 10 to the information processing terminal 20 (or the information processing terminal 20T of the thief of the photographing apparatus 10 described later). It is possible to set the timing at which the start was started (for example, immediately after the Wi-Fi handshake or immediately after Bluetooth pairing) as the theft confirmation timing. Also, select the "Always" radio button and select "Always confirm time". By inputting the time interval in the field of "distance", the time interval of the theft confirmation timing can be set. When “always” is selected as the theft confirmation timing, the theft confirmation of the imaging device 10 may be performed by BLE communication in order to suppress the power consumed by the communication between the imaging device 10 and the information processing terminal 20.

「送信情報」のフィールドには、複数のチェックボックスが配置されている。撮影装置10の所有者は、これらのチェックボックスをオン/オフすることにより、撮影装置10の盗難検知時に緊急連絡先に送信される情報を設定することができる。チェックボックス(緊急連絡先に送信される情報の項目)として、例えば「スマホGPS」、「スマホGPSログ」、「カメラGPS」、「カメラGPSログ」、「画像ファイル」、「アプリ登録情報」、「スマートフォン個人情報」が挙げられる。 A plurality of check boxes are arranged in the “transmission information” field. The owner of the image capturing device 10 can set information to be transmitted to the emergency contact when the theft of the image capturing device 10 is detected by turning on/off these check boxes. As a check box (item of information transmitted to an emergency contact), for example, "smartphone GPS", "smartphone GPS log", "camera GPS", "camera GPS log", "image file", "application registration information", "Smartphone personal information" is mentioned.

撮影装置10の所有者によってセキュリティ設定画面S2の決定ボタンB2がタッチされると、撮影装置用アプリケーション204bは、各フィールド(「緊急連絡先」、「セキュリティKEY」、「パスワード」、「確認タイミング」、「送信情報」の各フィールド)に入力された情報を例えば補助記憶装置204に保存すると共に撮影装置10に転送してフラッシュメモリ124に保存させる。 When the owner of the photographing apparatus 10 touches the OK button B2 on the security setting screen S2, the photographing apparatus application 204b causes the fields (“emergency contact”, “security key”, “password”, “confirmation timing”) to be displayed. , The information input in each field of “transmission information” is stored in, for example, the auxiliary storage device 204 and is transferred to the imaging device 10 and stored in the flash memory 124.

図3は、撮影装置10のLCD120に表示されるセキュリティ設定画面S3を示す。セキュリティ設定画面S3には、情報処理端末20から撮影装置10に転送されてフラッシュメモリ124に保存された緊急連絡先、セキュリティKEY及びパスワードが表示される。 FIG. 3 shows a security setting screen S3 displayed on the LCD 120 of the photographing apparatus 10. The security setting screen S3 displays the emergency contact information, the security key, and the password, which are transferred from the information processing terminal 20 to the image capturing apparatus 10 and stored in the flash memory 124.

なお、セキュリティ設定画面S3をLCD120に表示させるためには、撮影装置10の操作部102を操作して正しいパスワード(情報処理端末20から撮影装置10に転送されてフラッシュメモリ124に保存されたパスワード)を入力する必要がある。すなわち、セキュリティ設定画面S3は、パスワードで保護されており、正しいパスワードを知る者しか見ることができない。 In order to display the security setting screen S3 on the LCD 120, the correct password is operated by operating the operation unit 102 of the photographing device 10 (the password transferred from the information processing terminal 20 to the photographing device 10 and stored in the flash memory 124). Need to enter. That is, the security setting screen S3 is protected by a password and can be viewed only by a person who knows the correct password.

次に、撮影装置10が盗難され且つ撮影装置10を盗難した盗難者が自身の情報処理端末(符合「20T」を付す。)に撮影装置用アプリケーション(符合「204bT」を付す。)をインストールする場合を説明する。 Next, the photographic device 10 is stolen and the thief who stole the photographic device 10 installs the photographic device application (denoted by “204bT”) on his/her information processing terminal (denoted by “20T”). The case will be described.

撮影装置10の盗難者は、情報処理端末20Tに撮影装置用アプリケーション204bTをインストールし、インストール時の撮影装置用アプリケーション204bTのガイダンスに従ってユーザ情報の入力画面S1(図2(a)参照)及びセキュリティ設定画面S2(図2(b)参照)の各フォームに情報を入力する。 The thief of the image capturing apparatus 10 installs the image capturing apparatus application 204bT on the information processing terminal 20T, and according to the guidance of the image capturing apparatus application 204bT at the time of installation, the user information input screen S1 (see FIG. 2A) and security settings. Information is entered in each form on the screen S2 (see FIG. 2B).

入力画面S1に入力される撮影装置10の盗難者のユーザ情報は、撮影装置10の盗難者を特定するのに有用な情報である。ユーザ情報の入力を撮影装置10の盗難者に促すため、少なくとも入力画面S1に対するユーザ情報の入力が完了しなければ撮影装置用アプリケーション204bTを利用することができないようにしてもよい。なお、撮影装置10の盗難者のユーザ情報は、盗難者による手入力が不要であってもよく、例えば、撮影装置用アプリケーション204bTが撮影装置10の盗難者のユーザ情報を情報処理端末20Tから自動的に取得してユーザ情報の入力画面S1に自動入力するようにしてもよい。 The user information of the thief of the image capturing device 10 input on the input screen S1 is information useful for identifying the thief of the image capturing device 10. In order to prompt the thief of the image capturing apparatus 10 to input the user information, the image capturing apparatus application 204bT may be disabled until at least the input of the user information on the input screen S1 is completed. Note that the user information of the thief of the image capturing device 10 may not need to be manually input by the thief, and for example, the image capturing device application 204bT automatically outputs the user information of the thief of the image capturing device 10 from the information processing terminal 20T. Alternatively, the user information may be automatically acquired and automatically input on the input screen S1 of the user information.

撮影装置10は、例えば撮影装置用アプリケーション204bTとのペアリング時(すなわち、撮影装置10の所有者の情報処理端末20とは別の情報処理端末に接続されたことを検知した時)、フラッシュメモリ124に既に保存されている緊急連絡先、セキュリティKEY、パスワード、盗難確認タイミング及び送信情報(すなわち、撮影装置10の所有者が設定した緊急連絡先、セキュリティKEY、パスワード、盗難確認タイミング及び緊急連絡先に送信される情報の項目)を情報処理端末20Tに転送して情報処理端末20Tの補助記憶装置(符号「204T」を付す。)に保存させる。これらの情報は、撮影装置10の盗難者が撮影装置用アプリケーション204bTで設定した緊急連絡先やセキュリティKEY等の情報とは区別して補助記憶装置204Tに保存され、且つ撮影装置用アプリケーション204bT上では画面表示されない。そのため、撮影装置10の盗難者が、撮影装置10の所有者が設定した緊急連絡先やセキュリティKEY等の情報を見る機会がなく、また、撮影装置10の所有者がこのような情報を既に設定済みであることを知ることもない。撮影装置10の所有者の緊急連絡先やセキュリティKEY等の存在が撮影装置10の盗難者に知られないことは、盗難者の警戒心を下げることができ、盗難された撮影装置10を取り戻す確率を上げることに寄与する。 The photographing apparatus 10 uses, for example, a flash memory when paired with the photographing apparatus application 204bT (that is, when it is detected that the information processing terminal 20 other than the information processing terminal 20 of the owner of the photographing apparatus 10 is connected). Emergency contact, security key, password, theft confirmation timing and transmission information already stored in 124 (that is, the emergency contact, security key, password, theft confirmation timing and emergency contact set by the owner of the photographing apparatus 10). The information item transmitted to the information processing terminal 20T is transferred to the information processing terminal 20T and stored in the auxiliary storage device (reference numeral “204T” is attached) of the information processing terminal 20T. These pieces of information are stored in the auxiliary storage device 204T separately from the information such as the emergency contact information and the security key set by the thief of the photographing apparatus 10 in the photographing apparatus application 204bT, and the screen is displayed on the photographing apparatus application 204bT. Do not show. Therefore, the thief of the photographing apparatus 10 does not have a chance to see the information such as the emergency contact information and the security key set by the owner of the photographing apparatus 10, and the owner of the photographing apparatus 10 has already set such information. You don't even know that you're done. The presence of the emergency contact information of the owner of the image capturing apparatus 10 and the presence of the security key and the like are not known to the thief of the image capturing apparatus 10, which can reduce the alertness of the thief and the probability of regaining the stolen image capturing apparatus 10. Contribute to raising.

なお、撮影装置10のフラッシュメモリ124に既に保存されている緊急連絡先、セキュリティKEY、パスワード、盗難確認タイミング及び送信情報は、撮影装置用アプリケーション204bTと撮影装置10とのペアリング時でなく、互いのセキュリティKEYの不一致が検出されたタイミング(後述)で、撮影装置10から情報処理端末20Tに転送されて補助記憶装置204Tに保存されてもよい。 The emergency contact information, the security key, the password, the theft confirmation timing, and the transmission information which are already stored in the flash memory 124 of the image capturing apparatus 10 are not stored at the time of pairing between the image capturing apparatus application 204bT and the image capturing apparatus 10. The security key may be transferred from the image capturing device 10 to the information processing terminal 20T and stored in the auxiliary storage device 204T at the timing (discussed later).

撮影装置用アプリケーション204bTと撮影装置10とが連携して実行する、盗難検知及び盗難通知の処理について説明する。この処理のシーケンス図を図4に示す。 The process of theft detection and theft notification executed by the image pickup device application 204bT and the image pickup device 10 in cooperation with each other will be described. A sequence diagram of this processing is shown in FIG.

図4に示されるように、撮影装置用アプリケーション204bTは、補助記憶装置204Tに保存された盗難確認タイミングに従い、撮影装置10のフラッシュメモリ124に保存されたセキュリティKEYをリクエストして取得し(ステップS1)、補助記憶装置204Tに保存されたセキュリティKEYと照合する(ステップS2)。なお、ここでの盗難確認タイミングは、撮影装置10の所有者が撮影装置用アプリケーション204bで設定したタイミングである。 As shown in FIG. 4, the image capturing device application 204bT requests and acquires the security key stored in the flash memory 124 of the image capturing device 10 in accordance with the theft confirmation timing stored in the auxiliary storage device 204T (step S1). ), and collates with the security key stored in the auxiliary storage device 204T (step S2). Note that the theft confirmation timing here is the timing set by the owner of the image capturing device 10 using the image capturing device application 204b.

撮影装置10の所有者の情報処理端末20の撮影装置用アプリケーション204bと撮影装置10間であれば互いのセキュリティKEYが一致するため(ステップS2:YES)、次の盗難確認タイミングまで図4に示される何れのステップも実行されない。すなわち、情報処理端末20を保持する所有者が撮影装置10を盗難されない限り(別の表現では、近距離無線通信圏内に撮影装置10がある限り)、セキュリティKEYの照合が成功するため、盗難の発生が通知されることはない。 Since the security keys of the image capturing apparatus application 204b of the information processing terminal 20 of the owner of the image capturing apparatus 10 and the image capturing apparatus 10 are the same (step S2: YES), the next theft confirmation timing is shown in FIG. None of the steps performed are performed. That is, as long as the owner of the information processing terminal 20 does not steal the image capturing apparatus 10 (in other words, as long as the image capturing apparatus 10 is within the short-range wireless communication range), the security KEY verification succeeds, so that the image is stolen. There is no notification of the occurrence.

これに対し、撮影装置10の所有者が撮影装置用アプリケーション204bで設定したセキュリティKEYと、撮影装置10の盗難者が撮影装置用アプリケーション204bTで設定したセキュリティKEYとが一致することはまずない。そのため、撮影装置用アプリケーション204bTは、互いのセキュリティKEYが一致しないと判定する(ステップS2:NO)。 On the other hand, it is unlikely that the security KEY set by the owner of the image capturing apparatus 10 using the image capturing apparatus application 204b and the security KEY set by the thief of the image capturing apparatus 10 using the image capturing apparatus application 204bT will match. Therefore, the imaging device application 204bT determines that the security keys do not match (step S2: NO).

図4では、撮影装置用アプリケーション204bTがホストになって互いのセキュリティKEYを照合しているが、別の実施形態では、撮影装置10がホストになって互いのセキュリティKEYを照合してもよい。また、撮影装置用アプリケーション204bT、撮影装置10がそれぞれ独立にセキュリティKEYの照合を行ってもよい。 In FIG. 4, the imaging device application 204bT serves as a host to verify the security KEY of each other, but in another embodiment, the imaging device 10 may serve as the host to verify the security KEY of each other. Further, the image capturing device application 204bT and the image capturing device 10 may independently collate the security KEY.

撮影装置用アプリケーション204bTは、互いのセキュリティKEYが一致しないと判定すると(ステップS2:NO)、「送信情報」の各フィールドでチェックされた項目の情報を撮影装置10及び情報処理端末20Tから収集する(ステップS3〜S4)。ここで収集される情報は、撮影装置10の所有者が撮影装置用アプリケーション204bで設定した項目の情報である。 When determining that the security keys do not match each other (step S2: NO), the imaging device application 204bT collects the information of the items checked in the fields of “transmission information” from the imaging device 10 and the information processing terminal 20T. (Steps S3 to S4). The information collected here is information of items set by the owner of the image capturing apparatus 10 in the image capturing apparatus application 204b.

撮影装置用アプリケーション204bTは、ステップ3〜S4で収集した情報を撮影装置10に送信する(ステップS5)。 The imaging device application 204bT transmits the information collected in steps 3 to S4 to the imaging device 10 (step S5).

「送信情報」の各項目について説明する。「スマホGPS」は、情報処理端末20TのGPSレシーバ(符号「212T」を付す。)によって取得された情報処理端末20Tの最新の位置情報である。「スマホGPSログ」は、GPSレシーバ212Tのメモリに蓄積された所定期間の位置情報(言い換えると、当該期間における情報処理端末20Tの位置履歴)である。「カメラGPS」は、撮影装置10のGPSレシーバ130によって取得された撮影装置10の最新の位置情報である。「カメラGPSログ」は、GPSレシーバ130のメモリに蓄積された所定期間の位置情報(言い換えると、当該期間における撮影装置10の位置履歴)である。「画像ファイル」は、例えば上記所定期間に撮影装置10で撮影された画像(例示的には盗難後に撮影された画像)のファイルである。「アプリ登録情報」は、撮影装置10の盗難者が撮影装置用アプリケーション204bTの入力画面S1で入力した、盗難者のユーザ情報である。「スマートフォン個人情報」は、情報処理端末20Tの電話番号など、情報処理端末20T自体(又はSIMカード)に記憶された情報である。 Each item of "transmission information" will be described. The “smartphone GPS” is the latest position information of the information processing terminal 20T acquired by the GPS receiver of the information processing terminal 20T (reference numeral “212T” is attached). The “smartphone GPS log” is position information of a predetermined period accumulated in the memory of the GPS receiver 212T (in other words, position history of the information processing terminal 20T during the period). “Camera GPS” is the latest position information of the image capturing apparatus 10 acquired by the GPS receiver 130 of the image capturing apparatus 10. The “camera GPS log” is position information stored in the memory of the GPS receiver 130 for a predetermined period (in other words, position history of the imaging device 10 during the period). The “image file” is, for example, a file of an image captured by the image capturing apparatus 10 in the predetermined period (for example, an image captured after the theft). The “application registration information” is user information of the thief input by the thief of the photographing device 10 on the input screen S1 of the photographing device application 204bT. The “smartphone personal information” is information stored in the information processing terminal 20T itself (or SIM card), such as the telephone number of the information processing terminal 20T.

「スマホGPS」、「スマホGPSログ」、「アプリ登録情報」、「スマートフォン個人情報」は、情報処理端末20Tに関する所定の情報の一例であり、「カメラGPS」、「カメラGPSログ」、「画像ファイル」は、撮影装置10に関する所定の情報の一例である。 “Smartphone GPS”, “smartphone GPS log”, “application registration information”, and “smartphone personal information” are examples of predetermined information regarding the information processing terminal 20T, and are “camera GPS”, “camera GPS log”, and “image”. The “file” is an example of predetermined information regarding the image capturing apparatus 10.

情報処理端末20TのGPS機能がオフされている場合、撮影装置用アプリケーション204bTは、「スマホGPS」や「スマホGPSログ」の情報を収集することができない。撮影装置用アプリケーション204bTは、「スマホGPS」や「スマホGPSログ」に代えて、情報処理端末20Tと公衆無線LAN(Local Area Network)との接続履歴や情報処理端末20Tと基地局との接続履歴を情報処理端末20Tの位置情報や位置履歴として収集してもよい。 When the GPS function of the information processing terminal 20T is turned off, the imaging device application 204bT cannot collect information on the "smartphone GPS" or the "smartphone GPS log". The image capturing device application 204bT replaces "smartphone GPS" or "smartphone GPS log" with a connection history between the information processing terminal 20T and a public wireless LAN (Local Area Network) or a connection history between the information processing terminal 20T and a base station. May be collected as position information or position history of the information processing terminal 20T.

なお、「送信情報」の項目として例えば撮影装置10の起動時刻や起動回数等が含まれていてもよい。 The item of “transmission information” may include, for example, the activation time and the number of activations of the imaging device 10.

図4では、撮影装置用アプリケーション204bTがホストになって「送信情報」の各フィールドでチェックされた項目の情報を撮影装置10及び情報処理端末20Tから収集しているが、別の実施形態では、撮影装置10がホストになってこれらの情報を撮影装置10及び情報処理端末20Tから収集してもよい。また、撮影装置用アプリケーション204bT、撮影装置10がそれぞれ独立にこれらの情報を撮影装置10及び情報処理端末20Tから収集してもよい。 In FIG. 4, the imaging device application 204bT serves as a host and collects the information of the items checked in the fields of “transmission information” from the imaging device 10 and the information processing terminal 20T, but in another embodiment, The imaging device 10 may act as a host to collect such information from the imaging device 10 and the information processing terminal 20T. Further, the imaging device application 204bT and the imaging device 10 may independently collect these pieces of information from the imaging device 10 and the information processing terminal 20T.

撮影装置用アプリケーション204bTは、ステップ3〜S4で収集した情報を補助記憶装置204Tに保存された緊急連絡先に送信する(ステップS6)。なお、ここでの緊急連絡先は、撮影装置10の所有者が撮影装置用アプリケーション204bで設定した緊急連絡先である。 The imaging device application 204bT transmits the information collected in steps 3 to S4 to the emergency contact information stored in the auxiliary storage device 204T (step S6). The emergency contact here is an emergency contact set by the owner of the image capturing apparatus 10 using the image capturing apparatus application 204b.

撮影装置10は、ステップS5で撮影装置用アプリケーション204bTから送信された情報をフラッシュメモリ124に保存された緊急連絡先に送信する(ステップS7)。撮影装置10による緊急連絡先への情報送信には、例えば公衆無線LANが利用される。なお、利用可能な公衆無線LANがセキュリティKEYの不一致が検出された時に撮影装置10の無線通信圏内にあるとは限らない。利用可能な公衆無線LANが撮影装置10の無線通信圏内に無い場合は、セキュリティKEYの不一致の検出時に緊急連絡先への情報送信がすぐさま行われない。しかし、撮影装置10は、緊急連絡先への情報送信を定期的にトライする。従って、緊急連絡先への情報送信がいずれ行われる可能性が高い。 The image capturing apparatus 10 transmits the information transmitted from the image capturing apparatus application 204bT in step S5 to the emergency contact stored in the flash memory 124 (step S7). A public wireless LAN, for example, is used for transmitting information to the emergency contact by the photographing device 10. Note that the available public wireless LAN is not necessarily in the wireless communication area of the image capturing apparatus 10 when the security key mismatch is detected. If the available public wireless LAN is not within the wireless communication range of the image capturing apparatus 10, the information is not immediately transmitted to the emergency contact when the security key mismatch is detected. However, the imaging device 10 periodically tries to transmit information to the emergency contact. Therefore, there is a high possibility that information will be transmitted to the emergency contact.

このように、撮影装置用アプリケーション204bT及び撮影装置10は、撮影装置10の所有者が設定した緊急連絡先(例えば撮影装置10の所有者のPC用メーラに登録されたメールアドレスや情報処理端末20のメールアドレス、所有者のSMS(Short Message Service)等)に「送信情報」の各フィールドでチェックされた項目の情報を送信する。なお、撮影装置用アプリケーション204bTと撮影装置10の一方だけがこれらの情報を緊急連絡先に送信してもよい。 As described above, the image capturing device application 204bT and the image capturing device 10 have the emergency contact information set by the owner of the image capturing device 10 (for example, the mail address registered in the PC mailer of the owner of the image capturing device 10 or the information processing terminal 20). The information of the item checked in each field of "transmission information" is transmitted to the e-mail address of the owner, SMS (Short Message Service) of the owner, etc. Note that only one of the imaging device application 204bT and the imaging device 10 may transmit these pieces of information to the emergency contact.

ステップS7の実行後、図4の処理はステップS1に戻る。そのため、「送信情報」の各フィールドでチェックされた項目の情報は、撮影装置用アプリケーション204bTや撮影装置10から緊急連絡先に定期的に送信される。 After execution of step S7, the process of FIG. 4 returns to step S1. Therefore, the information of the item checked in each field of "transmission information" is periodically transmitted from the imaging device application 204bT or the imaging device 10 to the emergency contact.

撮影装置10の所有者は、通知(撮影装置用アプリケーション204bTや撮影装置10からの送信情報)を受けると、受けた情報(複数種類の情報(撮影装置10や情報処理端末20Tの位置情報、盗難後に撮影装置10で撮影されたであろう画像、撮影装置10の盗難者のユーザ情報、情報処理端末20Tの情報等)のうち少なくとも1種類の情報)を手掛かりに盗難者や撮影装置10の所在を掴み、盗難された撮影装置10を取り戻すことができる。 When the owner of the image capturing apparatus 10 receives the notification (application for the image capturing apparatus 204bT or transmission information from the image capturing apparatus 10), the owner receives the information (a plurality of types of information (positional information of the image capturing apparatus 10 or the information processing terminal 20T, theft, etc.). Whereabouts of the thief or the photographing device 10 based on at least one type of information) which will be photographed later by the photographing device 10, user information of the thief of the photographing device 10, information of the information processing terminal 20T, etc.) It is possible to retrieve the stolen imaging device 10 by retrieving.

このような盗難検知機能及び盗難通知機能が撮影装置10に備えていることを広告等で周知させておくことにより、撮影装置10の盗難の抑止につながる。 It is possible to prevent the theft of the image capturing apparatus 10 by making it known in advertisements that the image capturing apparatus 10 has such a theft detection function and the theft notification function.

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。 The above is a description of exemplary embodiments of the present invention. The embodiments of the present invention are not limited to those described above, and various modifications are possible within the scope of the technical idea of the present invention. For example, the contents of a combination of the embodiments exemplarily described in the specification or the obvious embodiments are appropriately included in the embodiments of the present application.

上記の実施形態では、セキュリティKEYの不一致が検出されると、緊急連絡先への情報送信が行われているが、別の実施形態では、撮影装置10の所有者の情報処理端末20の撮影装置用アプリケーション204bと撮影装置10間のBLE通信の切断検知時に緊急連絡先への情報送信が行われてもよい。 In the above embodiment, when the security key mismatch is detected, the information is transmitted to the emergency contact, but in another embodiment, the image capturing device of the information processing terminal 20 of the owner of the image capturing device 10 is transmitted. Information may be transmitted to the emergency contact point when disconnection of the BLE communication between the application for use 204b and the photographing apparatus 10 is detected.

図5に、別の実施形態において撮影装置10が実行する、盗難検知及び盗難通知の処理のフローチャートを示す。 FIG. 5 shows a flowchart of the theft detection and the theft notification processing executed by the image capturing apparatus 10 in another embodiment.

別の実施形態では、撮影装置用アプリケーション204bと撮影装置10とがBLE通信で常時接続されている。撮影装置10は、撮影装置用アプリケーション204bとのBLE通信が切断されたか否かを定期的にチェックする(ステップS11)。撮影装置10は、撮影装置用アプリケーション204bとのBLE通信の切断を検知すると(ステップS11:YES)、「送信情報」の各フィールドでチェックされた項目の情報(複数種類の情報(例えば撮影装置10の最新の位置情報、位置履歴、盗難後に撮影装置10で撮影されたであろう画像等)のうち少なくとも1種類の情報)を収集し(ステップS12)、フラッシュメモリ124に保存された緊急連絡先に送信する(ステップS13)。上記の実施形態と同じく、撮影装置10による緊急連絡先への情報送信には、例えば公衆無線LANが利用される。撮影装置10のBLE通信機能がオンされているかぎり、ステップS11〜S13の処理は繰り返し実行される。 In another embodiment, the imaging device application 204b and the imaging device 10 are constantly connected by BLE communication. The imaging device 10 periodically checks whether or not the BLE communication with the imaging device application 204b is disconnected (step S11). When the photographing apparatus 10 detects the disconnection of the BLE communication with the photographing apparatus application 204b (step S11: YES), the information of the items checked in each field of “transmission information” (plural types of information (for example, the photographing apparatus 10) Latest position information, position history, at least one type of information (of images that may have been taken by the imaging device 10 after theft, etc.)) (step S12), and the emergency contact information stored in the flash memory 124. (Step S13). As in the above embodiment, for example, a public wireless LAN is used to transmit information to the emergency contact by the image capturing device 10. As long as the BLE communication function of the image capturing device 10 is turned on, the processes of steps S11 to S13 are repeatedly executed.

別の実施形態では、撮影装置10の盗難者が撮影装置用アプリケーション204bTを情報処理端末20Tにインストールしない場合にも、緊急連絡先への情報送信が行われる。なお、別の実施形態では、例えば撮影装置10の所有者が撮影装置10を友人に貸与した場合などにも、撮影装置用アプリケーション204bと撮影装置10間のBLE通信が切断されて緊急連絡先への情報送信が行われることがあり得る。しかし、撮影装置10の所有者は撮影装置10を友人に貸与したこと(撮影装置10が盗難されたわけではないこと)を把握しているため、緊急連絡先への情報送信が行われても実質的に問題は生じない。 In another embodiment, even when the thief of the photographing device 10 does not install the photographing device application 204bT in the information processing terminal 20T, the information is transmitted to the emergency contact. In another embodiment, for example, even when the owner of the image capturing apparatus 10 lends the image capturing apparatus 10 to a friend, the BLE communication between the image capturing apparatus application 204b and the image capturing apparatus 10 is disconnected and the emergency contact is made. Information may be transmitted. However, since the owner of the image capturing apparatus 10 knows that the image capturing apparatus 10 has been loaned to a friend (that the image capturing apparatus 10 has not been stolen), even if information is transmitted to an emergency contact point, it is substantially true. Problem does not occur.

1 情報送信システム
10 撮影装置
20 情報処理端末
100 システムコントローラ
102 操作部
104 駆動回路
106 撮影レンズ
108 絞り
110 シャッタ
112 固体撮像素子
114 信号処理回路
116 画像処理エンジン
118 バッファメモリ
120 LCD
122 ROM
124 フラッシュメモリ
126 カード用インタフェース
128 近距離無線通信インタフェース
130 GPSレシーバ
200 CPU
202 主記憶装置
204 補助記憶装置
204a OS
204b 撮影装置用アプリケーション
206 キャリア通信インタフェース
208 タッチパネル
210 近距離無線通信インタフェース
212 GPSレシーバ
1 Information Transmission System 10 Imaging Device 20 Information Processing Terminal 100 System Controller 102 Operation Unit 104 Driving Circuit 106 Imaging Lens 108 Aperture 110 Shutter 112 Solid State Image Sensor 114 Signal Processing Circuit 116 Image Processing Engine 118 Buffer Memory 120 LCD
122 ROM
124 Flash Memory 126 Card Interface 128 Near Field Communication Interface 130 GPS Receiver 200 CPU
202 main storage device 204 auxiliary storage device 204a OS
204b Imaging device application 206 Carrier communication interface 208 Touch panel 210 Short-range wireless communication interface 212 GPS receiver

Claims (11)

近距離無線通信規格を用いて相互通信することが可能な撮影装置と情報処理端末とを備える情報送信システムにおいて、
前記撮影装置は、
撮影装置側記憶媒体と、
認証情報を前記撮影装置側記憶媒体に記憶させる撮影装置側記憶手段と、
を備え、
前記情報処理端末は、
端末側記憶媒体と、
認証情報及び所定の連絡先を前記端末側記憶媒体に記憶させる端末側記憶手段と、
前記撮影装置側記憶媒体に記憶された認証情報と前記端末側記憶媒体に記憶された認証情報とを照合する照合手段と、
前記照合手段による照合結果が前記認証情報の不一致を示すものである場合、前記撮影装置に関する所定の情報、前記情報処理端末に関する所定の情報、前記撮影装置による撮影画像データ、のうちの少なくとも1つ、を収集して前記連絡先に送信する情報処理手段と、
を備える、
情報送信システム。
In an information transmission system including an image capturing device and an information processing terminal capable of mutual communication using a short-range wireless communication standard,
The photographing device is
A storage medium on the imaging device side;
Photographing device side storage means for storing authentication information in the photographing device side storage medium;
Equipped with
The information processing terminal,
A terminal side storage medium,
Terminal side storage means for storing the authentication information and the predetermined contact information in the terminal side storage medium,
Collation means for collating the authentication information stored in the image capturing device side storage medium with the authentication information stored in the terminal side storage medium;
At least one of predetermined information about the image capturing device, predetermined information about the information processing terminal, and image data captured by the image capturing device when the result of the collation by the collating unit indicates a mismatch of the authentication information. , An information processing means for collecting and transmitting to the contact,
With
Information transmission system.
前記連絡先が前記撮影装置側記憶媒体に記憶されており、
前記照合手段による照合結果が前記認証情報の不一致を示すものである場合、前記送信手段と前記撮影装置の少なくとも一方が、前記撮影装置に関する所定の情報、前記情報処理端末に関する所定の情報、前記撮影装置による撮影画像データ、のうちの少なくとも1つ、を収集して前記連絡先に送信する、
請求項1に記載の情報送信システム。
The contact information is stored in the storage medium of the image capturing device,
When the verification result by the verification unit indicates a mismatch of the authentication information, at least one of the transmission unit and the imaging device has predetermined information about the imaging device, predetermined information about the information processing terminal, and the imaging. Collecting at least one of image data taken by the device, and transmitting the collected image data to the contact.
The information transmission system according to claim 1.
前記情報処理端末を、前記端末側記憶手段、前記照合手段及び前記情報処理手段として機能させるためのアプリケーションが前記情報処理端末とは別の情報処理端末にインストールされた後、所定のタイミングで、前記撮影装置側記憶媒体に記憶された前記連絡先が前記端末側記憶媒体に記憶される、
請求項2に記載の情報送信システム。
After an application for causing the information processing terminal to function as the terminal-side storage unit, the collating unit, and the information processing unit is installed in an information processing terminal different from the information processing terminal, the The contact information stored in the storage device-side storage medium is stored in the terminal-side storage medium,
The information transmission system according to claim 2.
前記撮影装置は、
前記撮影装置の位置情報を取得する撮影装置側位置取得手段
を更に備え、
前記情報処理手段は、
前記撮影装置に関する所定の情報として、前記撮影装置側位置取得手段によって取得された前記撮影装置の位置情報と前記位置情報のログの少なくとも一方を収集する、
請求項1から請求項3の何れか一項に記載の情報送信システム。
The photographing device is
Further comprising a photographing device side position acquisition means for acquiring position information of the photographing device,
The information processing means is
At least one of the position information of the image capturing device acquired by the image capturing device side position acquisition unit and a log of the position information is collected as the predetermined information regarding the image capturing device,
The information transmission system according to any one of claims 1 to 3.
前記情報処理端末は、
前記情報処理端末の位置情報を取得する端末側位置取得手段
を更に備え、
前記情報処理手段は、
前記情報処理端末に関する所定の情報として、前記端末側位置取得手段によって取得された前記情報処理端末の位置情報、前記情報処理端末の位置情報のログ、前記情報処理端末の所有者の情報、前記情報処理端末を特定する情報、のうちの少なくとも1つを収集する、
請求項1から請求項4の何れか一項に記載の情報送信システム。
The information processing terminal,
Further comprising a terminal side position acquisition means for acquiring the position information of the information processing terminal,
The information processing means is
As the predetermined information regarding the information processing terminal, the position information of the information processing terminal acquired by the terminal side position acquisition means, the log of the position information of the information processing terminal, the information of the owner of the information processing terminal, the information Collecting at least one of the information identifying the processing terminal,
The information transmission system according to any one of claims 1 to 4.
前記撮影装置側記憶媒体に記憶された認証情報は、パスワードで保護されている、
請求項1から請求項5の何れか一項に記載の情報送信システム。
The authentication information stored in the storage device-side storage medium is protected by a password,
The information transmission system according to any one of claims 1 to 5.
近距離無線通信規格を用いて撮影装置と相互通信することが可能な情報処理端末において、
端末側記憶媒体と、
認証情報及び所定の連絡先を前記端末側記憶媒体に記憶させる端末側記憶手段と、
前記撮影装置に記憶された認証情報と前記端末側記憶媒体に記憶された認証情報とを照合する照合手段と、
前記照合手段による照合結果が前記認証情報の不一致を示すものである場合、前記撮影装置に関する所定の情報、前記情報処理端末に関する所定の情報、前記撮影装置による撮影画像データ、のうちの少なくとも1つ、を収集して前記連絡先に送信する情報処理手段と、
を備える、
情報処理端末。
In an information processing terminal capable of mutual communication with a photographing device using a short-range wireless communication standard,
A terminal side storage medium,
Terminal side storage means for storing the authentication information and the predetermined contact information in the terminal side storage medium,
Collating means for collating the authentication information stored in the photographing device with the authentication information stored in the terminal-side storage medium;
When the collation result by the collating unit indicates that the authentication information does not match, at least one of predetermined information regarding the image capturing device, predetermined information regarding the information processing terminal, and image data captured by the image capturing device. , An information processing means for collecting and transmitting to the contact,
With
Information processing terminal.
近距離無線通信規格を用いて情報処理端末と相互通信することが可能な撮影装置において、
撮影装置側記憶媒体と、
所定の連絡先を前記撮影装置側記憶媒体に記憶させる撮影装置側記憶手段と、
特定の前記情報処理端末と通信できないことを検知すると、前記撮影装置に関する所定の情報と前記撮影装置による撮影画像データの少なくとも一方を前記連絡先に送信する手段と、
を備える、
撮影装置。
In a photographing device capable of mutual communication with an information processing terminal using a short-range wireless communication standard,
A storage medium on the imaging device side;
Photographing device side storage means for storing a predetermined contact in the photographing device side storage medium;
A means for transmitting at least one of predetermined information about the image capturing device and image data captured by the image capturing device to the contact when detecting that communication with the specific information processing terminal cannot be performed;
With
Imaging device.
近距離無線通信規格を用いて相互通信することが可能な撮影装置と情報処理端末とを備える情報送信システムで実行される情報送信方法において、
前記情報処理端末が、
認証情報及び所定の連絡先を端末側記憶媒体に記憶し、
前記撮影装置が、
認証情報を撮影装置側記憶媒体に記憶し、
前記情報処理端末が、
前記撮影装置側記憶媒体に記憶された認証情報と前記端末側記憶媒体に記憶された認証情報とを照合し、
前記照合の結果が前記認証情報の不一致を示すものである場合、前記撮影装置に関する所定の情報、前記情報処理端末に関する所定の情報、前記撮影装置による撮影画像データ、のうちの少なくとも1つ、を収集して前記連絡先に送信する、
情報送信方法。
In an information transmitting method executed in an information transmitting system including an image capturing device and an information processing terminal capable of mutual communication using a short-range wireless communication standard,
The information processing terminal,
Store the authentication information and the predetermined contact information in the storage medium on the terminal side,
The photographing device is
The authentication information is stored in the storage medium of the photographing device,
The information processing terminal,
Collating the authentication information stored in the imaging device side storage medium with the authentication information stored in the terminal side storage medium,
When the result of the collation indicates that the authentication information does not match, at least one of predetermined information regarding the image capturing device, predetermined information regarding the information processing terminal, and image data captured by the image capturing device is selected. Collect and send to the contact,
Information transmission method.
近距離無線通信規格を用いて撮影装置と相互通信することが可能な情報処理端末で実行される情報送信方法において、
認証情報及び所定の連絡先を端末側記憶媒体に記憶させ、
前記撮影装置に記憶された認証情報と前記端末側記憶媒体に記憶された認証情報とを照合し、
前記照合の結果が前記認証情報の不一致を示すものである場合、前記撮影装置に関する所定の情報、前記情報処理端末に関する所定の情報、前記撮影装置による撮影画像データ、のうちの少なくとも1つ、を収集して前記連絡先に送信する、
情報送信方法。
In an information transmission method executed by an information processing terminal capable of mutual communication with a photographing device using a short-range wireless communication standard,
Store authentication information and predetermined contact information in the terminal storage medium,
Collating the authentication information stored in the imaging device with the authentication information stored in the terminal-side storage medium,
When the result of the collation indicates that the authentication information does not match, at least one of predetermined information regarding the image capturing device, predetermined information regarding the information processing terminal, and image data captured by the image capturing device is selected. Collect and send to the contact,
Information transmission method.
近距離無線通信規格を用いて情報処理端末と相互通信することが可能な撮影装置で実行される情報送信方法において、
所定の連絡先を撮影装置側記憶媒体に記憶させ、
特定の前記情報処理端末と通信できないことを検知すると、前記撮影装置に関する所定の情報と前記撮影装置による撮影画像データの少なくとも一方を前記連絡先に送信する、
情報送信方法。
In the information transmission method executed by the imaging device capable of mutual communication with the information processing terminal using the short-range wireless communication standard,
Store the specified contact information in the storage device side storage medium,
When detecting that communication with the specific information processing terminal cannot be performed, at least one of predetermined information regarding the image capturing device and image data captured by the image capturing device is transmitted to the contact.
Information transmission method.
JP2018219862A 2018-11-26 2018-11-26 Information transmission system, information processing terminal, imaging device, and information transmission method Active JP7135777B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018219862A JP7135777B2 (en) 2018-11-26 2018-11-26 Information transmission system, information processing terminal, imaging device, and information transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018219862A JP7135777B2 (en) 2018-11-26 2018-11-26 Information transmission system, information processing terminal, imaging device, and information transmission method

Publications (2)

Publication Number Publication Date
JP2020086888A true JP2020086888A (en) 2020-06-04
JP7135777B2 JP7135777B2 (en) 2022-09-13

Family

ID=70910005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018219862A Active JP7135777B2 (en) 2018-11-26 2018-11-26 Information transmission system, information processing terminal, imaging device, and information transmission method

Country Status (1)

Country Link
JP (1) JP7135777B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251424A (en) * 2006-03-14 2007-09-27 Fujifilm Corp Communication terminal management system
US20070224980A1 (en) * 2006-03-24 2007-09-27 Sony Ericsson Mobile Communications Ab Methods, systems, and devices for detecting and indicating loss of proximity between mobile devices
JP2011243017A (en) * 2010-05-19 2011-12-01 Ricoh Co Ltd Information processor, authentication system, authentication method, authentication program and recording medium
JP2016029767A (en) * 2014-07-25 2016-03-03 シャープ株式会社 Mobile communication terminal device and its control method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251424A (en) * 2006-03-14 2007-09-27 Fujifilm Corp Communication terminal management system
US20070224980A1 (en) * 2006-03-24 2007-09-27 Sony Ericsson Mobile Communications Ab Methods, systems, and devices for detecting and indicating loss of proximity between mobile devices
JP2009530968A (en) * 2006-03-24 2009-08-27 ソニー エリクソン モバイル コミュニケーションズ, エービー Method, system and apparatus for detecting and indicating loss of proximity between mobile communication devices
JP2011243017A (en) * 2010-05-19 2011-12-01 Ricoh Co Ltd Information processor, authentication system, authentication method, authentication program and recording medium
JP2016029767A (en) * 2014-07-25 2016-03-03 シャープ株式会社 Mobile communication terminal device and its control method

Also Published As

Publication number Publication date
JP7135777B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
CN109891874B (en) Panoramic shooting method and device
EP3200483B1 (en) Method and device for acquiring location information
US20170064182A1 (en) Method and device for acquiring image file
KR101732909B1 (en) Apparatus and method for sharing capttured data in portable terminal
JP4633555B2 (en) Security system, control program, computer-readable recording medium, electronic device, cradle
JP2007036365A (en) Personal digital assistant
JP2007218896A (en) Imaging device, position information recording method and program
EP3125615A1 (en) Method, apparatus and system for smart device to access router
JP2014021860A (en) Information processing device, information providing device, image transfer system, and control method therefor
US11546559B2 (en) Information processing device and method for controlling image data thereof
RU2636393C1 (en) Method, device and information transmitting system
JP2019016891A (en) Imaging apparatus and image transfer method
JP6504896B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND IMAGE TRANSFER SYSTEM
JP2011191839A (en) Terminal equipment, authentication system, and program
JP6810555B2 (en) Wireless communication equipment and its control method, and wireless communication system
JP2008060948A (en) Communication system and imaging apparatus
JP2007195063A (en) Portable terminal device
JP7135777B2 (en) Information transmission system, information processing terminal, imaging device, and information transmission method
JP2005123817A (en) Portable communication terminal
JP2015179882A (en) Electronic apparatus
US10285032B2 (en) Communication apparatus and control method thereof
US9654686B2 (en) Location information designating device, location information designating method, and non-transitory storage medium in which location information designating program is stored
JP2009111827A (en) Photographing apparatus and image file providing system
JP2017188861A (en) Portable crime-preventing terminal, crime prevention management device, crime prevention method, and computer program
JP5702328B2 (en) Image data transfer device, imaging device, image data transfer method, and computer program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20201007

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R151 Written notification of patent or utility model registration

Ref document number: 7135777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151