JP6381285B2 - Imaging device, communication device, and control method, system, and program thereof - Google Patents
Imaging device, communication device, and control method, system, and program thereof Download PDFInfo
- Publication number
- JP6381285B2 JP6381285B2 JP2014102724A JP2014102724A JP6381285B2 JP 6381285 B2 JP6381285 B2 JP 6381285B2 JP 2014102724 A JP2014102724 A JP 2014102724A JP 2014102724 A JP2014102724 A JP 2014102724A JP 6381285 B2 JP6381285 B2 JP 6381285B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- imaging mode
- mode
- subject
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 486
- 238000004891 communication Methods 0.000 title claims description 94
- 238000000034 method Methods 0.000 title claims description 53
- 230000008569 process Effects 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 60
- 230000006870 function Effects 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Studio Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、自走手段を有する撮像装置のモード切り替え制御に関する。 The present invention relates to mode switching control of an imaging apparatus having self-running means.
近年、自走式掃除機ロボットなどの家電製品にカメラ機能を搭載し、室内を移動しながら撮像可能な自走機器が知られている。このようなカメラ機能を有する自走機器には、ある特定の被写体を検出し、その被写体を追従しながら撮像を行うものや、ある特定の範囲内を移動しながら撮像を行うものが存在する。 2. Description of the Related Art In recent years, self-propelled devices that are equipped with a camera function in home appliances such as a self-propelled vacuum cleaner robot and can capture images while moving indoors are known. Self-propelled devices having such a camera function include those that detect a specific subject and perform imaging while following the subject, and those that perform imaging while moving within a specific range.
また、日々の生活を長期間に亘って記録するライフログという言葉が広く認知されている。その中で、日々の画像や映像を常時撮像するためのウェアラブルカメラなども普及してきている。 In addition, the term life log, which records daily life over a long period of time, is widely recognized. Among them, wearable cameras and the like for constantly capturing daily images and videos have become widespread.
例えば、特許文献1には、カメラ機能を有する移動可能なロボットが、撮像した画像から追従対象となる人物を抽出し、追従対象を追尾しながら、ロボットと追従対象間の距離に関する情報を音声で通知する技術が記載されている。 For example, in Patent Document 1, a movable robot having a camera function extracts a person to be tracked from a captured image, and tracks information on the distance between the robot and the tracked target while tracking the tracked target. The technology to notify is described.
しかしながら、上記特許文献1では、被写体を追従する撮像モードと他の撮像モードの間でのモード切り替え制御については考慮されていない。 However, in the above-described Patent Document 1, no consideration is given to mode switching control between an imaging mode that follows a subject and another imaging mode.
本発明は、自走手段を有する撮像装置について、最適なタイミングで撮像モードを切り替えることができる技術を実現することを目的としている。 An object of the present invention is to realize a technique capable of switching an imaging mode at an optimal timing for an imaging apparatus having a self-running means.
上記目的を達成するために、本発明の撮像装置は、撮像手段と、撮像対象を変更するために装置を移動させる移動手段と、撮像モードを、前記移動手段により撮像対象を変更しながら撮像を行う第1の撮像モードと、所定の被写体を撮像し続ける第2の撮像モードのいずれに切り替えるモード切り替え手段と、前記撮像モードを切り替えるか否かを判定する判定手段と、前記撮像手段により撮像された画像から前記所定の被写体を検出する被写体検出手段と、前記撮像モードに応じて前記撮像手段と前記移動手段を制御する制御手段と、を有し、前記判定手段は、前記被写体検出手段により前記所定の被写体が所定の位置にいることが検出された場合に前記撮像モードを前記第1の撮像モードから前記第2の撮像モードへ切り替えるように判定を行い、前記所定の被写体が前記所定の位置にいることが検出されない場合であっても、複数の被写体が検出された場合であって前記所定の被写体と他の被写体の位置が異なる場合は前記撮像モードを前記第1の撮像モードから前記第2の撮像モードへ切り替えるように判定を行う。 In order to achieve the above object, an imaging apparatus according to the present invention captures an imaging unit, a moving unit that moves the apparatus to change the imaging target, and an imaging mode while changing the imaging target by the moving unit. a first imaging mode of performing a mode switching means for switching to either of the second imaging mode to continue imaging the predetermined subject, and judging means for judging whether or not to switch the imaging mode, by the imaging means a subject detecting means for detecting a predetermined subject from images, have a, and control means for controlling said moving means and said image pickup means in accordance with the imaging mode, said determination means, said by the object detection unit When it is detected that a predetermined subject is at a predetermined position, the imaging mode is determined to be switched from the first imaging mode to the second imaging mode. Even if it is not detected that the predetermined subject is at the predetermined position, if a plurality of subjects are detected and the positions of the predetermined subject and other subjects are different, A determination is made to switch the imaging mode from the first imaging mode to the second imaging mode .
本発明によれば、自走手段を有する撮像装置について、最適なタイミングで撮像モードを切り替えることができる。 According to the present invention, an imaging mode can be switched at an optimal timing for an imaging apparatus having self-running means.
以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。 EMBODIMENT OF THE INVENTION Below, the form for implementing this invention with reference to an accompanying drawing is demonstrated in detail. The embodiment described below is an example for realizing the present invention, and should be appropriately modified or changed according to the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment. Moreover, you may comprise combining suitably one part of each embodiment mentioned later.
[実施形態1]以下、本発明の撮像装置および通信装置として自走式カメラとスマートフォンを適用し、通信装置により撮像装置を外部から制御する撮像システムについて説明する。なお、本実施形態では、撮像装置100は自走式カメラを想定しているが、カメラ機能を搭載した自走式掃除機ロボットなどの自走手段を有する装置であっても良い。また、本実施形態では、通信装置として携帯電話の一種であるスマートフォンを想定しているが、タブレット端末などの携帯型電子機器やパーソナルコンピュータなどの情報処理装置であっても良い。
[Embodiment 1] An imaging system in which a self-propelled camera and a smartphone are applied as the imaging device and communication device of the present invention and the imaging device is externally controlled by the communication device will be described below. In the present embodiment, the
<システム構成>まず、図1を参照して、本実施形態の撮像装置と通信装置から構成される撮像システムについて説明する。 <System Configuration> First, with reference to FIG. 1, an imaging system composed of an imaging device and a communication device of this embodiment will be described.
図1において、本実施形態の撮像システム300は、撮像装置100と、通信装置200と、撮像装置100と通信装置200を通信可能に接続するアクセスポイント301を含む。撮像装置100は、静止画や動画などの映像コンテンツを撮像し通信装置200へ配信する。通信装置200は、撮像装置100から配信される映像コンテンツを受信し再生したり、撮像装置100を遠隔から制御するためのコマンドを送信する。
In FIG. 1, an
本実施形態では、撮像装置100と通信装置200の間のデータ通信はストリーミング配信方式を用いる。なお、ここで映像コンテンツとは動画と音声を含む映像データであったり、静止画からなる画像データである。また、ストリーミング配信には専用のアプリケーションが用いられる。すなわち、撮像装置100には映像コンテンツを配信するための配信専用アプリケーションがインストールされ、通信装置200には撮像装置100から配信される映像コンテンツを視聴するための視聴専用アプリケーションがインストールされている。通信装置200はアクセスポイント301を介して撮像装置100から映像コンテンツが配信されると、それを画面にメッセージなどを表示するなどしてユーザに通知する。ユーザは画面のGUI(Graphical User Interface)などを操作することで、撮像装置100から配信される映像コンテンツを視聴するか否かを設定できる。通信装置200はユーザによる設定操作を受け付け、映像コンテンツを視聴するための視聴専用アプリケーションを起動するか否かを判定する。通信装置200は視聴専用アプリケーションを起動する場合には、それをアクセスポイント301を介して撮像装置100に通知する。これにより、撮像装置100は配信している映像コンテンツが通信装置200で視聴されているか否かを判定できる。
In the present embodiment, data communication between the
<撮像装置の構成>図2を参照して、本実施形態の撮像システムを構成する撮像装置の構成および機能の概略について説明する。 <Arrangement of Imaging Apparatus> With reference to FIG. 2, the outline of the arrangement and functions of the imaging apparatus constituting the imaging system of this embodiment will be described.
図2において、制御部101は、内部バス113を介して後述する各部と接続され、自走機器100の全体を統括して制御する演算処理装置(CPU)である。制御部101のCPUは、後述する不揮発性メモリ102に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。なお、制御部101が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御しても良い。
In FIG. 2, the
不揮発性メモリ102は、電気的に消去・記録可能な、例えばEEPROMなどである。不揮発性メモリ102には、制御部101の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。
The
システムメモリ103はRAMなどであり、制御部101の動作用の定数、変数、不揮発性メモリ102から読み出したプログラムなどを展開するワークメモリとしても使用される。また、システムメモリ103は、撮像部104で撮像された映像データや画像データ(以下、画像データと総称する)を一時的に保持するバッファメモリとして使用される。
The
撮像部104は、ズームレンズやフォーカスレンズを含むレンズ群、絞り機能を備えるシャッターを含む。また、撮像部104は、被写体像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子、撮像素子から出力されるアナログ画像信号をデジタル信号に変換するA/D変換器を有する。また、撮像部104は、画像処理部を含み、撮像素子により撮像された画像データに、リサイズ処理、ノイズ低減処理、色変換処理などの画質調整処理を施す。また、画像処理部は、画質調整処理が施された画像データを圧縮符号化してJPEGやMPEGなどのファイルフォーマットに準拠した画像ファイルを生成し、記録部107に記録する。また、画像処理部は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づき制御部101が撮像部104のフォーカスレンズや絞り、シャッターを制御することで、AF(オートフォーカス)処理やAE(自動露出)処理を行う。
The
さらに、画像処理部は、水平方向および垂直方向のバンドパスフィルタにより画像データからエッジ成分を検出し、検出されたエッジ成分に関してパターンマッチングを行い、目および鼻、口、耳の候補群を抽出して被写体の顔を検出する。そして、画像処理部は、検出された顔の特徴情報などを記録部107に記録する。さらにまた、画像処理部は、連続的に撮像された画像データの差分から動きベクトルを抽出し、被写体の動きを検出する機能や、顔の特徴情報が登録されたデータベースを参照することにより、検出された顔の人物を認証する機能を備えている。なお、これらの機能は所定のプログラムに基づき実行しても良いし、画像処理部に各機能を実現するための回路を組み込んでも良い。いずれの場合であっても、制御部101の制御により、画像処理部が各画像処理を行う手段として動作することになる。その他、画像処理部が実行する画像処理には、システムメモリ103に格納されている画像データをアナログ信号に変換するD/A変換処理、圧縮符号化された画像ファイルを復号する復号化処理などが含まれる。画像処理部は特定の画像処理を施すための専用の回路ブロックで構成しても良いし、画像処理の種別によっては制御部101がプログラムに従って画像処理を施すことも可能である。
In addition, the image processing unit detects edge components from the image data using bandpass filters in the horizontal and vertical directions, performs pattern matching on the detected edge components, and extracts a candidate group of eyes, nose, mouth, and ears. To detect the face of the subject. Then, the image processing unit records the detected facial feature information and the like in the
自走部105は、車輪、車輪を駆動するモータ、モータを回転駆動する駆動部、モータ回転数を検出するセンサなどを含む。制御部101は、駆動部を制御することで撮像装置100の前進、後退、方向転換などを行う。また、制御部101は、センサにより検出されたモータ回転数に基づいて駆動部を制御することで撮像装置100の加速、減速、停止などを行う。
Self-propelled
測距部106は、撮像装置100と装置周囲に存在する障害物などの被検体との距離を検出するセンサである。測距部106は、センサ内部の光源から照射された光の反射を受光部で評価することによって、撮像装置100と被検体との距離や、被検体が静止しているのか動作しているのかなどを判定する。なお、測距部106は、測距センサの他に外部の音を認識するためのマイクを含む音声センサや加速度センサなどを有していても良い。
The
記録部107は、画像処理部により生成された画像ファイルが記録されたり、既に記録されている画像ファイルが読み出される。また、記録部107には、画像ファイルなどの映像コンテンツ、撮像された画像データから取得した被写体情報や室内の間取り情報その他の撮像に関する情報を通信装置200へ配信するための配信専用アプリケーションも格納される。記録部107は、撮像装置100に装着されるメモリカードやハードディスクドライブなどであっても良いし、撮像装置100に内蔵されたフラッシュメモリやハードディスクドライブであっても良い。
The
操作部108は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネルなどの操作部材からなり、ユーザは、操作部108を介して撮像装置100の各種設定を行うことが可能である。例えば、制御部101は、ユーザ操作により操作部108を介して撮像モードの切り替え要求を受け付けると、不揮発性メモリ102に格納されている撮像モードごとのパラメータから、該当する撮像モードのパラメータを読み出す。そして、制御部101は、読み出したパラメータを用いて撮像部104や自走部105を制御する。また、ユーザは操作部108を介して被写体情報の入力や室内の間取り情報の記録を行うことができる。ここで、室内の間取り情報には、部屋の位置や広さ、形状などの建物本来の情報と、家具などの後から付加された静止物体や障害物に関する情報も含まれる。
The
通知部109は、制御部101の制御により、記録部107に記録された画像データ、ユーザ操作を受け付けるGUIなどを表示する表示部やスピーカなどを含む。制御部101は、プログラムに従って通知部109を制御し、画像データ、GUIなどの表示制御信号を生成して表示部に出力する。また、通知部109は、制御部101からの制御信号に従い、動画ファイルに含まれる音声データやユーザ操作時の確認音や警告音をスピーカから出力する。
The
通信部110は、110は、USB、IEEE1394、LAN、無線通信などの各種通信機能を有し、図2で後述する通信装置200と通信可能に接続される。通信部110は、撮像部104により撮像された映像コンテンツあるいは記録部107に記録されている映像コンテンツをネットワークを介して通信装置200へ配信可能である。また、通信部110は、通信装置200から現在位置情報やモード切り替え要求などのコマンドを受信可能である。
The
計時部111は、現在の日付や時刻、各部で行われる処理に関する時間などの計測を行う。
The
位置情報取得部112は、GPS(Global Positioning System)衛星から受信したGPS信号により撮像装置100の現在位置情報を算出し、制御部101へ供給する。
The position
内部バス113は、上述した各部と接続され、各部は内部バス113を介して互いにデータをやり取りすることが可能である。
The
本実施形態においては、撮像装置100は、以下の2つの撮像モードを有するものとして説明を行う。第1の撮像モードはライフログ撮像モードであり、制御部101は、自走部105を制御して室内を移動しながら、撮像部104を制御して撮像を行う。第2の撮像モードは所定の被写体を撮像し続ける監視カメラモードである。監視カメラモードでは、撮像された画像データから取得した被写体情報あるいは通信部110を介して通信装置200から取得した通信装置200の現在位置情報から撮像対象の被写体の位置を検出し、自走部105を制御して当該被写体の撮像可能範囲まで撮像場所を移動して撮像を行う。
In the present embodiment, the
<通信装置の構成>図3を参照して、本発明に係る実施形態の通信装置の構成および機能の概略について説明する。 <Configuration of Communication Device> With reference to FIG. 3, an outline of a configuration and functions of a communication device according to an embodiment of the present invention will be described.
図3において、制御部201、不揮発性メモリ202、システムメモリ203、記録部204、通知部206、通信部207、計時部208、位置情報取得部209および内部バス210は、図2の各構成と略同様である。
3, the
制御部201は、内部バス210を介して後述する各部と接続され、通信装置200の全体を統括して制御する演算処理装置(CPU)である。制御部201のCPUは、後述する不揮発性メモリ202に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。なお、制御部201が機器全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御しても良い。
The
また、制御部201は、通信部207を介して通信装置200の現在位置情報やモード切り替え要求などのコマンドを送信可能である。
Further, the
記録部204は、通信部207を介して外部機器から取得した映像コンテンツが記録されたり、既に記録されている映像コンテンツが読み出される。また、記録部204には、通信装置200の現在位置情報や撮像装置100から受信した映像コンテンツを視聴するための視聴専用アプリケーションも格納されている。
The
操作部205は、ユーザからの各種操作を受け付ける操作部材からなり、ユーザは、操作部205を介して通信装置200の各種設定を行うことが可能である。操作部205は、例えばキーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、表パネルに重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。操作部205にタッチパネルが含まれる場合、制御部201はタッチパネルへの以下の操作を検出することが可能である。タッチパネルを指やペンで触れたこと(以下、タッチダウン)。タッチパネルを指やペンで触れている状態であること(以下、タッチオン)。タッチパネルを指やペンで触れたまま移動していること(以下、ムーブ)。タッチパネルに触れていた指やペンを離したこと(以下、タッチアップ)。タッチパネルに何も触れていない状態(以下、タッチオフ)。これらの操作や、タッチパネル上に指やペンが触れている位置座標は内部バス210を介して制御部201に通知され、制御部201は通知された情報に基づいてユーザによってタッチパネル上でどのような操作が行われたかを判定する。ムーブについてはタッチパネル上で移動する指やペンの移動方向についても位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判別できる。また、タッチパネル上をタッチダウンから一定のムーブを経てタッチアップしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックはタッチパネル上に指を触れたままある程度の距離だけを素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる。また、所定距離以上を、指定速度未満でムーブしたことが検出された場合はドラッグが行われたと判定するものとする。また、タッチパネル上の異なる二点で同時に逆方向へのムーブを検出した場合には、ズームイン/ズームアウトが行われたものと判定する。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
The
通知部206には、図8で後述するGUIや、撮像装置100から受信した映像コンテンツが視聴専用アプリケーションにより視聴可能に表示される。
The
<第1の撮像モード処理>次に、図4を参照して、本実施形態の撮像装置による第1の撮像モードにおける処理について説明する。 <First Imaging Mode Processing> Next, processing in the first imaging mode by the imaging apparatus of this embodiment will be described with reference to FIG.
なお、本処理は、撮像装置100のライフログ撮像モードとしての動作を説明するもので、室内を移動しながら撮像を行う。その中で、赤ん坊や子供などを優先順位の高い被写体と判定し撮像を行うことで、室内の被写体の中でも特にユーザが所望する被写体の画像を多く撮像することが可能である。また、優先順位の高い被写体の中でも特に赤ん坊などのユーザが監視を行いたい被写体に関しては、赤ん坊を監視対象として撮像装置100に登録することもできる。
In addition, this process demonstrates operation | movement as a life log imaging mode of the
なお、図4の処理は、不揮発性メモリ102に格納されたプログラムを、システムメモリ103に読み出して制御部101が実行することにより実現される。
4 is realized by reading a program stored in the
S401では、操作部108を介してユーザによる電源オン操作を受け付けると、制御部101は撮像装置100の電源供給を開始する。なお、本実施形態では電源をオンした時点でのデフォルトの撮像モードが第1の撮像モードであるものとして説明するが、他の撮像モードであっても良い。
In step S <b> 401, when receiving a power-on operation by the user via the
S402では、制御部101は自走部105を制御し、撮像装置100の移動を開始する。制御部101は、記録部107に格納されている室内の間取り情報を読み出すとともに、移動した位置に関する移動履歴情報を記録部107に格納する。なお、室内の間取り情報が記録部107に格納されていない場合には、制御部101は自走部105を制御して移動しながら、撮像部104により撮像された画像データ、測距部106や位置情報取得部112から得られる静止物体の位置情報や距離情報を記録部107に格納していく。このようにすることで、撮像装置100は室内の間取り情報を生成する。制御部101が自走部105を制御して撮像装置100を移動させる際には、室内の間取り情報に基づいて移動する経路を決定する。制御部101は移動している途中に計時部111から得られる時間情報に基づいて、所定の時間間隔で撮像部104を制御して撮像を行う。
In S <b> 402, the
S403では、制御部101は、撮像部104の画像処理部により画像データから被写体の顔が検出されるまで自走部105を制御して移動を続けながら撮像を行い、被写体の顔が検出されると(S403でYES)、検出した被写体を撮像する(S404)。
In step S <b> 403, the
S405では、制御部101は、撮像部104により検出された被写体の顔情報、計時部111および位置情報取得部112から取得した時間情報および現在位置情報を記録部107に記録する。また、制御部101は撮像対象となった被写体の撮像枚数に関する情報も更新しつつ記録部107に記録する。
In step S <b> 405, the
S406では、制御部101は、撮像装置100の移動範囲として、ある範囲、例えば記録部107に格納されている室内の間取り情報にある全ての部屋を移動したか否かを判定する。判定の結果、移動範囲を移動した場合は(S406でYES)、S407に進み、移動していない場合は(S406でNO)、S402に戻り、制御部101は、自走部105を制御して移動を続けながら撮像を行う。なお、撮像装置100の移動範囲を、予めユーザが通信装置200や操作部108を介して限定するよう設定しても良い。この場合、制御部101は撮像装置100がユーザが限定した移動範囲内のみを移動するように自走部105を制御し、限定された移動範囲を全て移動したか否かを判定する。
In step S <b> 406, the
また、S406では、制御部101は移動範囲ではなく、時間情報に基づいて判定を行っても良い。この場合、制御部101は計時部111から撮像装置100が第1の撮像モードで動作を開始してから所定の時間が経過したか否かを判定する。
In S406, the
S407では、制御部101は、現在までに検出され記録部107に記録された被写体情報の中から、所定の被写体情報が存在するか否かを判定する。判定の結果、記録部107に所定の被写体情報が記録されていた場合は(S407でYES)、制御部101は、自走部105を制御して当該所定の被写体の下部や近傍まで移動する(S408)。S408では、制御部101は記録部107に記録されている所定の被写体の最新の位置情報と室内の間取り情報とに基づいて、所定の被写体まで障害物を避けるよう移動可能な経路を決定する。所定の被写体情報とは、予めユーザが操作部108を介して設定され、記録部107に格納されている被写体の顔情報である。
In step S <b> 407, the
S409では、制御部101は、所定の被写体が検出されたか判定し、検出された場合は(S409でYES)、当該被写体の撮像を開始し(S410)、検出されない場合は(S409でNO)、検出されるまで自走部105を制御して移動を続ける。
In S409, the
S411では、制御部101は、所定の被写体を撮像し、計時部111および位置情報取得部112から取得した時間情報および現在位置情報を記録部107に記録する。
In step S <b> 411, the
S412では、制御部101は、撮像モード切り替え判定処理を行うが、詳細は後述する。後述する撮像モード切り替え判定処理で撮像モードを切り替えると判定された場合は(S413でYES)、制御部101は撮像モードを第1の撮像モードから第2の撮像モードへ切り替える(S414)。また、撮像モードを維持すると判定された場合は(S413でNO)、制御部101は自走部105を制御して移動を続けながら撮像を行う。
In S412, the
S407での判定の結果、所定の被写体情報が存在しない場合は(S407でNO)、制御部101は、現在までに検出され記録部107に記録された被写体情報の中に撮像優先度の高い被写体が存在するか否かを判定する(S415)。なお、ユーザは、操作部108を介して予め被写体ごとの撮像優先度を設定し記録部107に記録しておくことができる。制御部101はユーザの設定操作に応じて、記録部107に記録されている被写体情報ごとに撮像優先度情報を追加して更新する。制御部101は、現在までに検出され記録部107に記録された被写体情報の中に撮像優先度の高い被写体情報が存在する場合は(S415でYES)、当該撮像優先度の高い被写体の下部や近傍まで移動する(S416)。
As a result of the determination in S407, if the predetermined subject information does not exist (NO in S407), the
S417では、制御部101は撮像優先度の高い被写体が検出されたか判定し、検出された場合は(S417でYES)、当該被写体の撮像を開始し(S418)、検出されない場合は(S417でNO)、検出されるまで自走部105を制御して移動を続ける。
In S417, the
S418では、制御部101は、計時部111および位置情報取得部112から取得した時間情報および現在位置情報を記録部107に記録する(S419)。
In S418, the
また、S415での判定の結果、撮像優先度の高い被写体情報が存在しない場合は(S415でNO)、制御部101は、現在までに検出され記録部107に記録された被写体情報が複数存在するか否かを判定する。判定の結果、現在までに検出された被写体情報が複数存在する場合は(S422でYES)、制御部101は検出された被写体情報の中で最も撮像枚数の少ない被写体の下部または近傍まで移動する(S423)。また、現在までに検出された被写体が一人である場合は(S422でNO)、制御部101は引き続き自走部105を制御して移動を続けながら撮像を行う。
If there is no subject information with a high imaging priority as a result of the determination in S415 (NO in S415), the
S424では、制御部101は、撮像枚数の最も少ない被写体が検出されたか判定し、検出された場合は(S424でYES)、当該被写体の撮像を開始し、検出されない場合は(S424でNO)、検出されるまで自走部105を制御して移動を続ける。
In S424, the
S425、S426では、制御部101は、撮像枚数の最も少ない被写体を撮像し、計時部111および位置情報取得部112から取得した時間情報および現在位置情報を記録部107に記録する。
In S425 and S426, the
S420では、制御部101は、通信装置200や操作部108を介してユーザによる電源オフ操作を受け付けるまで(S420でNO)、自走部105を制御して移動を続けながら撮像を行う(S402)。そして、ユーザから電源オフ操作を受け付けると(S420でYES)、制御部101は、撮像装置100の電源をオフする(S421)。
In S420, the
<撮像モード切り替え判定処理>次に、図5を参照して、図4の撮像モード切り替え判定処理(S412)において撮像モードを第1の撮像モードから第2の撮像モードへ切り替える処理について説明する。 <Imaging Mode Switching Determination Process> Next, with reference to FIG. 5, the process of switching the imaging mode from the first imaging mode to the second imaging mode in the imaging mode switching determination process (S412) of FIG. 4 will be described.
まず、図5(a)を参照して、通信装置200から撮像モード切り替え要求を受信して、撮像装置100の撮像モードを切り替える処理を説明する。
First, with reference to FIG. 5A, a process of receiving an imaging mode switching request from the
S501では、制御部101は、通信部110を介して通信装置200から撮像モード切り替え要求を受信したか判定し、受信しない場合は(S501でNO)、現在の撮像モードを維持する(S503)。
In S501, the
また、S501で撮像モード切り替え要求を受信した場合は、制御部101は、撮像モードを第1の撮像モードから第2の撮像モードへ切り替えるように判定を行う(S502)。
When the imaging mode switching request is received in S501, the
次に、図5(b)を参照して、撮像装置100が撮像モードを切り替えるか否かを判定する処理について説明する。
Next, a process for determining whether or not the
本処理は、撮像装置100がライフログ撮像モードから監視カメラモードへ移行する際の動作を説明するものである。例えば、監視対象である赤ん坊などの被写体がいる部屋に他の人間がいない状況であったり、室内に赤ん坊1人しかいない状況において、撮像装置100がライフログ撮像モードから監視カメラモードへ移行する。
This process describes the operation when the
S511では、制御部101は、現在までに検出された全ての被写体の位置情報を記録部107から読み出す。
In step S <b> 511, the
S512では、制御部101は記録部107から読み出した全ての被写体の位置情報のうち、所定の被写体が所定の位置にいるか判定する。判定の結果、所定の位置にいる場合は(S512でYES)、制御部101は、撮像モードを第1の撮像モードから第2の撮像モードへ切り替えるように判定を行う(S513)。なお、所定の被写体の所定の位置情報は、予めユーザにより操作部108を介して設定され、記録部107に記録されている。
In step S <b> 512, the
また、S512で所定の被写体が所定の位置にいない場合は(S512でNO)、制御部101は、現在までに検出され記録部107に記録された被写体情報が複数存在するか否かを判定し、1人だけの場合は(S514でNO)、撮像モードを第1の撮像モードから第2の撮像モードへ切り替えるように判定を行う(S513)。
If the predetermined subject is not in the predetermined position in S512 (NO in S512), the
また、S514で被写体情報が複数存在する場合は(S514でYES)、3人以上であるか判定し(S515)、2人である場合は(S515でNO)、S516に進み、3人以上である場合は(S515でYES)、S517に進む。 If there are a plurality of pieces of subject information in S514 (YES in S514), it is determined whether there are three or more (S515). If there are two (NO in S515), the process proceeds to S516. If there is (YES in S515), the process proceeds to S517.
S516では、制御部101は、所定の被写体とその他の被写体の位置情報を比較し、被写体の位置が異なる場合は(S516でYES)、撮像モードを第1の撮像モードから第2の撮像モードへ切り替えるように判定を行う(S513)。また、同じ位置の場合は(S516でNO)、撮像モードを維持する(S518)。
In S516, the
S517では、所定の被写体以外の全ての被写体が所定の被写体と異なる位置にいるか否かを判定し、異なる位置にいる場合は(S517でYES)、撮像モードを第1の撮像モードから第2の撮像モードへ切り替えるように判定を行う(S513)。また、所定の被写体以外の少なくとも1人が所定の被写体と同じ位置にいる場合は(S517でNO)、撮像モードを維持する(S518)。 In S517, it is determined whether or not all subjects other than the predetermined subject are at different positions from the predetermined subject. If they are in different positions (YES in S517), the imaging mode is changed from the first imaging mode to the second imaging mode. Determination is made to switch to the imaging mode (S513). If at least one person other than the predetermined subject is at the same position as the predetermined subject (NO in S517), the imaging mode is maintained (S518).
<第2の撮像モード処理>次に、図6A、6Bを参照して、本実施形態の撮像装置による第2の撮像モードにおける処理について説明する。 <Second Imaging Mode Processing> Next, with reference to FIGS. 6A and 6B, processing in the second imaging mode by the imaging apparatus of this embodiment will be described.
まず図6Aを参照して、撮像装置100が配信している映像コンテンツを通信装置200が視聴しない場合を考慮した処理を説明する。
First, with reference to FIG. 6A, a process considering a case where the
S601では、制御部101は自走部105を制御し、撮像対象である所定の被写体の撮像可能範囲まで移動する。
In step S <b> 601, the
S602では、制御部101は、撮像部104の撮像可能範囲内で所定の被写体の顔が検出されたか判定し、検出された場合は(S602でYES)、当該被写体の撮像を開始する(S603)。また、検出された場合は(S602でNO)、制御部101は、所定の被写体が検出されるまで自走部105を制御して移動を続けながら撮像を行う。
In step S602, the
S604では、制御部101は、計時部111および位置情報取得部112から取得した時間情報および現在位置情報を記録部107に記録する。
In step S <b> 604, the
S605では、制御部101は、通信部110を介して通信装置200の通信部207と接続を行い、撮像部104で撮像された映像コンテンツを配信する(S606)。
In S605, the
S607では、制御部101は、通信部110を介して通信装置200へ映像コンテンツの配信を開始してから所定の時間以内に、通信装置200で視聴専用アプリケーションが起動され、映像コンテンツの視聴が開始されたか否かを判定する。判定の結果、映像コンテンツの視聴が開始された場合は(S607でYES)、制御部101は、映像コンテンツの配信を継続し、視聴が開始されない場合は(S607でNO)、映像コンテンツの配信を中断する(S612)。なお、上記所定の時間は操作部108を介してユーザが任意の値を入力可能であり、計時部111によって計時される。
In step S <b> 607, the
S609では、制御部101は、撮像モード切り替え判定処理を行うが、詳細は後述する。後述する撮像モード切り替え判定処理で撮像モードを切り替えると判定された場合は(S610でYES)、制御部101は撮像モードを第2の撮像モードから第1の撮像モードへ切り替える(S611)。また、撮像モードを維持すると判定された場合は(S610でNO)、制御部101は撮像部104を制御して撮像を行い、通信装置200へ映像コンテンツを配信し続ける。
In S609, the
S613では、制御部101は、通信装置200への映像コンテンツの配信を中断してから所定の時間以内に、通信装置200で視聴専用アプリケーションが起動され、映像コンテンツの視聴が開始されたか否かを判定する。判定の結果、映像コンテンツの視聴が開始された場合は(S613でYES)、制御部101は、映像コンテンツの配信を再開する(S614)。また、視聴が開始されない場合は(S613でNO)、制御部101は、映像コンテンツの配信を停止し(S615)、第2の撮像モードから第1の撮像モードへ撮像モードを切り替える(S611)。
In step S <b> 613, the
上記処理によって、ユーザが映像を視聴していないのにもかかわらず、撮像装置100から通信装置200へ映像コンテンツの配信を続けてしまうことを防止し、撮像装置100の処理負荷の削減や省電力化を図ることができる。
The above processing prevents the video content from being continuously distributed from the
次に、図6Bを参照して、所定の被写体の動きが検出されない場合を考慮した処理を説明する。なお、図6Bと異なる点はS627、S628の処理であり、その他の処理は図6Aと同一であるため同じ符号を付して説明を省略する。 Next, with reference to FIG. 6B, a process that takes into account the case where the movement of a predetermined subject is not detected will be described. Note that the difference from FIG. 6B is the processing of S627 and S628, and the other processing is the same as FIG.
S606で通信装置200へ映像コンテンツの配信を開始した後に、制御部101は、撮像部104により所定の被写体の動きが検出されたか否かを判定する(S627)。判定の結果、所定の被写体の動きが検出された場合は(S627でYES)、制御部101は、映像コンテンツの配信を継続し(S608)、検出されない場合は(S627でNO)、映像コンテンツの配信を中断する(S612)。
After starting the distribution of the video content to the
S628では、制御部101は、通信装置200への映像コンテンツの配信を中断してから所定の時間以内に、撮像部104により所定の被写体の動きが検出されたか否かを判定する。判定の結果、所定の被写体の動きが検出された場合は(S6628YES)、制御部101は、映像コンテンツの配信を再開する(S614)。また、所定の被写体の動きが検出されない場合は(S628でNO)、制御部101は、映像コンテンツの配信を停止し(S615)、第2の撮像モードから第1の撮像モードへ撮像モードを切り替える(S611)。
In step S <b> 628, the
本処理によって、被写体の動作が検出されない場合、例えば、赤ん坊が寝ている場合のように監視の要求度が低い状況では、映像コンテンツの配信を中断することで、撮像装置100の処理負荷の削減や省電力化を図ることができる。
If the movement of the subject is not detected by this processing, for example, in a situation where the request level of monitoring is low, such as when a baby is sleeping, the processing load of the
なお、第2の撮像モードにおいて撮像部104により撮像された画像データから新たに被写体の顔情報が検出された場合は、制御部101は、記録部107に当該被写体情報を追加して記録する。
Note that when face information of a subject is newly detected from image data picked up by the
<撮像モード切り替え判定処理>次に、図7を参照して、図6A、6Bの撮像モード切り替え判定処理(S609)において撮像モードを第2の撮像モードから第1の撮像モードへ切り替える処理について説明する。 <Imaging Mode Switching Determination Process> Next, with reference to FIG. 7, a process for switching the imaging mode from the second imaging mode to the first imaging mode in the imaging mode switching determination process (S609) of FIGS. 6A and 6B will be described. To do.
なお、図5(b)と異なる点はS704、S705の処理であり、その他の処理は図5(b)と同一であるため同じ符号を付して説明を省略する。 The difference from FIG. 5B is the processing in S704 and S705, and the other processing is the same as that in FIG.
S702で所定の被写体が所定の位置にいる場合は(S702でYES)、制御部101は、撮像部104の撮像可能範囲から検出され記録部107に記録された被写体情報が複数存在するか否かを判定し(S704)、1人だけの場合は(S704でNO)、撮像モードを維持する(S703)。
If the predetermined subject is at the predetermined position in S702 (YES in S702), the
また、S704で被写体情報が複数存在する場合は(S704でYES)、制御部101は、所定の被写体と他の被写体が同一の位置にいるか否かを判定する(S705)。判定の結果、同一の位置にいる場合は(S705でYES)、制御部101は、撮像モードを第1の撮像モードから第2の撮像モードへ切り替えるように判定を行う(S703)。また、他の被写体の少なくとも1人が所定の被写体と異なる位置にいる場合は(S705でNO)、撮像モードを維持する(S706)。
If there are a plurality of pieces of subject information in S704 (YES in S704), the
なお、図7の処理に代えて、図5(a)の処理により撮像装置100の撮像モードを切り替えても良い。
Note that the imaging mode of the
また、図7の処理は、図6A、6BのS604以降のタイミングで行われても良い。 Moreover, the process of FIG. 7 may be performed at the timing after S604 of FIGS. 6A and 6B.
<通信装置200でのGUI>次に、図8を参照して、ユーザが通信装置200の操作部205を操作して、撮像装置100へ撮像モードの切り替え要求を行うための通知部206に表示されるGUIについて説明する。
<GUI in
図8(a)の画面において、801aは通信装置200の操作部205のタッチパネルを示している。802aは視聴専用アプリケーションのアイコンであり、ユーザはタッチパネル上のアイコンをタッチダウンおよびタッチアップの操作で視聴専用アプリケーションを起動させる。視聴専用アプリケーションを起動させると、図8(b)の画面に遷移する。
In the screen of FIG. 8A,
制御部201は操作部205からの視聴専用アプリケーションの起動要求を受け付けた後に、通信部207を介して撮像装置100に視聴専用アプリケーションを起動させた旨の情報を送信する。撮像装置100の制御部101は通信部110を介して起動情報を受信すると、記録部107に記録した現在検出している被写体とその被写体の最新の位置情報を通信装置200へ送信する。制御部201は通信部207を介して撮像装置100から受信した撮像装置100で検出されている被写体とその位置情報を通知部206に表示する。801bは所定の被写体である「A太」が位置「BEDROOM」にいることを示している。また、802bはその他の被写体である「B介」が位置「LIVING」にいることを示している。802bの被写体の「B介」はユーザによって所定の被写体として登録されていない被写体のためグレーアウト表示されている。ユーザが表示領域801bに対してタッチダウンおよびタッチアップの操作を行うと、制御部101は撮像装置100の撮像モードを切り替え、自走部105を制御し「A太」の下へと移動し、撮像した映像を通信装置200へ配信する。
After receiving the request for starting the viewing-only application from the
図8(c)は、撮像装置100が第2の撮像モードにおいて通信装置200の通知部206に表示される画面を示している。801cは撮像装置100が第2の撮像モードである監視カメラモードで動作していることを示している。802cは実際に撮像部104により撮像されている映像であり、所定の被写体である「A太」、撮像された場所の「BEDROOM」および撮像された日時が表示されている。ユーザは表示領域803cに対してタッチダウンおよびタッチアップの操作を行うと、第2の撮像モードから第1の撮像モードへの切り替え要求が通信部207を介して撮像装置100に送信される。
FIG. 8C shows a screen displayed on the
以上のように、本実施形態によれば、最適なタイミングで撮像モードをライフログ撮像モードや監視カメラモード切り替えることができる。 As described above, according to the present embodiment, the imaging mode can be switched between the life log imaging mode and the monitoring camera mode at an optimal timing.
[実施形態2]次に、図9および図10を参照して、実施形態2について説明する。 [Embodiment 2] Next, Embodiment 2 will be described with reference to FIGS.
図9に示すように、本実施形態の撮像システム900は、図1の撮像システム300に発信機901が追加されたものであり、その他の構成は図1と同様である。
As shown in FIG. 9, an
発信機901は、少なくとも図2や図3と同様の構成および機能を有する制御部、不揮発性メモリ、システムメモリ、通信部、位置情報取得部を備え、通信部を介して撮像装置100と通信装置200に接続され、位置情報取得部により得られる発信機901の位置情報を撮像装置100や通信装置200に送信する。なお、発信機901もしくは通信装置200を各被写体に付帯させることで、撮像装置100は各被写体の正確な位置情報を取得できる。なお、発信機901は通信装置200と同一の構成であっても良い。また、発信機901は、単に自身の位置情報を外部に送信するだけの機能を持っていても良いし、スマートフォンや携帯電話などであっても良い。
The
<第1の撮像モード処理>次に、図10を参照して、本実施形態の撮像装置100による第1の撮像モードでの処理について説明する。
<First Imaging Mode Processing> Next, processing in the first imaging mode by the
なお、図10の処理は、不揮発性メモリ102に格納されたプログラムを、システムメモリ103に読み出して制御部101が実行することにより実現される。
Note that the processing in FIG. 10 is realized by reading a program stored in the
S1001では、操作部108を介してユーザによる電源オン操作を受け付けると、制御部101は撮像装置100の電源供給を開始する。なお、本実施形態では電源をオンした時点でのデフォルトの撮像モードが第1の撮像モードであったものとして説明するが、他の撮像モードであっても良い。
In step S <b> 1001, upon receiving a power-on operation by the user via the
S1002では、制御部101は通信部110を介して通信装置200と発信機901の位置情報を受信し、それらが付帯されている被写体ごとの位置情報を記録部107に記録する。なお、通信装置200とそれを所持している被写体、発信機901とそれが付帯されている被写体とは予め関連付けがなされて記録部107に記録されている。
In step S <b> 1002, the
S1003、S1004では、制御部101は、図4のS407およびS415と同様に、S1002で検出された被写体の中に所定の被写体が存在しない場合(S1003でNO)であって且つ撮像優先度の高い被写体が存在する場合は(S1004でYES)、当該撮像優先度の高い被写体の下部または近傍まで移動する(S1005)。
In S1003 and S1004, as in S407 and S415 of FIG. 4, the
また、撮像優先度の高い被写体が存在しない場合は(S1004でNO)、制御部101は、S1002で検出された被写体の中で撮像枚数の最も少ない被写体の下部または近傍まで移動する(S1008)。
If there is no subject with a high imaging priority (NO in S1004), the
次に、制御部101は、撮像部104の撮像可能範囲内で所定の被写体の顔が検出された場合は(S1006でYES)、当該被写体の撮像を開始する(S1007)。また、所定の被写体が検出されない場合は(S1006でNO)、制御部101は、検出されるまで自走部105を制御して移動を続けながら撮像を行う。
Next, when a face of a predetermined subject is detected within the imageable range of the imaging unit 104 (YES in S1006), the
次に、制御部101は、撮像部104の撮像可能範囲内で撮像枚数の最も少ない被写体の顔が検出された場合は(S1009でYES)、当該被写体の撮像を開始する(S1010)。また、撮像枚数の最も少ない被写体が検出されない場合は(S1009でNO)、制御部101は、検出されるまで自走部105を制御して移動を続けながら撮像を行う。
Next, when the face of the subject with the smallest number of images to be captured within the imageable range of the
S1011では、制御部101は、撮像装置100の撮像モード切り替え判定処理を行う。なお、撮像モードの切り替え処理は、必ずしもS1011のタイミングで行う必要はない。この場合、撮像モードを切り替えると判定された場合は(S1012でYES)、制御部101は撮像モードを第1の撮像モードから第2の撮像モードへ切り替える(S1013)。また、撮像モードを維持すると判定された場合は(S1012でNO)、制御部101は、通信部110を介して通信装置200と発信機901から位置情報を受信し、記録部107に記録されている被写体情報を更新する。
In step S <b> 1011, the
また、S1003での判定の結果、S1002で検出された被写体の中に所定の被写体が存在する場合は(S1003でYES)、制御部101は、所定の被写体の下部または近傍まで移動する(S1014)。
If the result of determination in S1003 is that there is a predetermined subject among the subjects detected in S1002 (YES in S1003), the
次に、制御部101は、撮像部104の撮像可能範囲内で所定の被写体の顔が検出された場合は(S1015でYES)、検出された所定の被写体の撮像を開始する(S1016)。また、所定の被写体が検出されない場合は(S1015でNO)、制御部101は、検出されるまで自走部105を制御して移動を続けながら撮像を行う。
Next, when a face of a predetermined subject is detected within the imageable range of the imaging unit 104 (YES in S1015), the
なお、S1017からS1023の処理は、S1004からS1010の処理と同様である。 Note that the processing from S1017 to S1023 is the same as the processing from S1004 to S1010.
なお、S1002での被写体検出処理は常時実行しても良い。また、本処理では所定の被写体、撮像優先度の高い被写体、撮像枚数の最も少ない被写体の順に優先度を付与して撮像を行っているが、S1002で被写体ごとの位置を特定した後は、制御部101は、全ての被写体を撮像するために移動距離が最短となるように自走部105を制御しても良い。
Note that the subject detection process in S1002 may be always executed. Further, in this processing, priority is given in the order of a predetermined subject, a subject with a high imaging priority, and a subject with the smallest number of images, but after specifying the position for each subject in S1002, the control is performed. The
本実施形態の撮像モード切り替え処理(S1011)は、図5(b)からS511の処理を除いたものと同様である。本実施形態では、制御部101は、図10のS1002において検出された被写体情報を用いて所定の被写体が所定の位置にいるか否かを判定する(S512)。なお、図5(a)の処理で撮像装置100の撮像モードを切り替えても良いし、図10のいずれのタイミングで行っても良い。
The imaging mode switching process (S1011) of the present embodiment is the same as the process excluding the process of S511 from FIG. In the present embodiment, the
本実施形態の第2の撮像モードにおける処理であって、撮像装置100が配信している映像コンテンツを通信装置200が視聴しない場合を考慮したものは、図6AからS604の処理を除いたものと同様である。また、所定の被写体の動きが検出されない場合も考慮したものは、図6BからS604の処理を除いたものと同様である。
The processing in the second imaging mode of the present embodiment in consideration of the case where the
また、本実施形態の撮像装置100による第2の撮像モードから第1の撮像モードへ切り替える処理は、図7からS701の処理を除いたものと同様である。
Further, the process of switching from the second imaging mode to the first imaging mode by the
以上のように、本実施形態によれば、最適なタイミングで撮像モードをライフログ撮像モードや監視カメラモード切り替えることができる。 As described above, according to the present embodiment, the imaging mode can be switched between the life log imaging mode and the monitoring camera mode at an optimal timing.
[他の実施形態]
本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、および当該プログラムを記憶した記憶媒体は本発明を構成することになる。
[Other Embodiments]
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the program code. It is processing to do. In this case, the program and the storage medium storing the program constitute the present invention.
100…撮像装置、101、201…制御部、104…撮像部、105…自走部、107、204…記録部、108、205…操作部、110、207…通信部、112、209…位置情報取得部、200…通信装置
DESCRIPTION OF
Claims (23)
撮像対象を変更するために装置を移動させる移動手段と、
撮像モードを、前記移動手段により撮像対象を変更しながら撮像を行う第1の撮像モードと、所定の被写体を撮像し続ける第2の撮像モードのいずれに切り替えるモード切り替え手段と、
前記撮像モードを切り替えるか否かを判定する判定手段と、
前記撮像手段により撮像された画像から前記所定の被写体を検出する被写体検出手段と、
前記撮像モードに応じて前記撮像手段と前記移動手段を制御する制御手段と、を有し、
前記判定手段は、前記被写体検出手段により前記所定の被写体が所定の位置にいることが検出された場合に前記撮像モードを前記第1の撮像モードから前記第2の撮像モードへ切り替えるように判定を行い、
前記所定の被写体が前記所定の位置にいることが検出されない場合であっても、複数の被写体が検出された場合であって前記所定の被写体と他の被写体の位置が異なる場合は前記撮像モードを前記第1の撮像モードから前記第2の撮像モードへ切り替えるように判定を行うことを特徴とする撮像装置。 Imaging means;
Moving means for moving the apparatus to change the imaging target;
Mode switching means for switching the imaging mode to any one of a first imaging mode in which imaging is performed while changing an imaging target by the moving means, and a second imaging mode in which imaging of a predetermined subject is continued;
Determining means for determining whether to switch the imaging mode;
Subject detection means for detecting the predetermined subject from the image captured by the imaging means;
Control means for controlling the imaging means and the moving means according to the imaging mode,
The determination unit determines to switch the imaging mode from the first imaging mode to the second imaging mode when the subject detection unit detects that the predetermined subject is in a predetermined position. Done
Even if it is not detected that the predetermined subject is at the predetermined position, the imaging mode is selected when a plurality of subjects are detected and the positions of the predetermined subject and other subjects are different. An image pickup apparatus that performs determination so as to switch from the first image pickup mode to the second image pickup mode.
撮像対象を変更するために装置を移動させる移動手段と、
撮像モードを、前記移動手段により撮像対象を変更しながら撮像を行う第1の撮像モードと、所定の被写体を撮像し続ける第2の撮像モードのいずれに切り替えるモード切り替え手段と、
前記撮像手段により撮像された画像から前記所定の被写体を検出する被写体検出手段と、
前記撮像モードを切り替えるか否かを判定する判定手段と、
前記撮像モードに応じて前記撮像手段と前記移動手段を制御する制御手段と、を有し、
前記判定手段は、前記被写体検出手段により前記所定の被写体が所定の位置にいることが検出された場合に前記撮像モードを前記第1の撮像モードから前記第2の撮像モードへ切り替えるように判定を行い、
前記所定の被写体が前記所定の位置にいることが検出されない場合であっても、複数の被写体が検出された場合であって前記所定の被写体と他の全ての被写体の位置が異なる場合は前記撮像モードを前記第1の撮像モードから前記第2の撮像モードへ切り替えるように判定を行うことを特徴とする撮像装置。 Imaging means;
Moving means for moving the apparatus to change the imaging target;
Mode switching means for switching the imaging mode to any one of a first imaging mode in which imaging is performed while changing an imaging target by the moving means, and a second imaging mode in which imaging of a predetermined subject is continued;
Subject detection means for detecting the predetermined subject from the image captured by the imaging means;
Determining means for determining whether to switch the imaging mode;
Control means for controlling the imaging means and the moving means according to the imaging mode,
The determination unit determines to switch the imaging mode from the first imaging mode to the second imaging mode when the subject detection unit detects that the predetermined subject is in a predetermined position. Done
Even when it is not detected that the predetermined subject is at the predetermined position, the imaging is performed when a plurality of subjects are detected and the positions of the predetermined subject and all other subjects are different. An image pickup apparatus that performs determination so as to switch a mode from the first image pickup mode to the second image pickup mode.
撮像対象を変更するために装置を移動させる移動手段と、
撮像モードを、前記移動手段により撮像対象を変更しながら撮像を行う第1の撮像モードと、所定の被写体を撮像し続ける第2の撮像モードのいずれに切り替えるモード切り替え手段と、
前記撮像モードを切り替えるか否かを判定する判定手段と、
前記撮像モードに応じて前記撮像手段と前記移動手段を制御する制御手段と、
外部機器と通信する通信手段と、
前記通信手段を介して前記撮像手段により撮像された映像を前記外部機器に配信する配信手段と、
前記配信された映像が前記外部機器で視聴されているか否かを判定する手段と、を有し、
前記配信手段は、前記第2の撮像モードにおいて前記映像が配信されてから所定の時間以内に当該映像が前記外部機器で視聴されている場合は前記映像の配信を継続し、前記映像が視聴されない場合は前記映像の配信を停止し、
前記判定手段は、前記映像の配信が停止されると、前記撮像モードを前記第2の撮像モードから前記第1の撮像モードへ切り替えるように判定を行うことを特徴とする撮像装置。 Imaging means;
Moving means for moving the apparatus to change the imaging target;
Mode switching means for switching the imaging mode to any one of a first imaging mode in which imaging is performed while changing an imaging target by the moving means, and a second imaging mode in which imaging of a predetermined subject is continued;
Determining means for determining whether to switch the imaging mode;
Control means for controlling the imaging means and the moving means according to the imaging mode;
A communication means for communicating with an external device;
Distribution means for distributing video captured by the imaging means to the external device via the communication means;
Means for determining whether or not the distributed video is viewed on the external device,
The distribution means continues to distribute the video when the video is being viewed on the external device within a predetermined time after the video is distributed in the second imaging mode, and the video is not viewed If this is the case, stop delivering the video,
The determination unit is configured to perform determination to switch the imaging mode from the second imaging mode to the first imaging mode when distribution of the video is stopped.
撮像対象を変更するために装置を移動させる移動手段と、
撮像モードを、前記移動手段により撮像対象を変更しながら撮像を行う第1の撮像モードと、所定の被写体を撮像し続ける第2の撮像モードのいずれに切り替えるモード切り替え手段と、
前記撮像モードを切り替えるか否かを判定する判定手段と、
前記撮像モードに応じて前記撮像手段と前記移動手段を制御する制御手段と、
外部機器と通信する通信手段と、
前記通信手段を介して前記撮像手段により撮像された映像を前記外部機器に配信する配信手段と、
前記所定の被写体の動きを検出する手段と、を有し、
前記配信手段は、前記第2の撮像モードにおいて前記所定の被写体の動きが検出されている場合は前記映像の配信を継続し、前記動きが検出されなくなると前記映像の配信を停止し、
前記判定手段は、前記映像の配信が停止されると、前記撮像モードを前記第2の撮像モードから前記第1の撮像モードへ切り替えるように判定を行うことを特徴とする撮像装置。 Imaging means;
Moving means for moving the apparatus to change the imaging target;
Mode switching means for switching the imaging mode to any one of a first imaging mode in which imaging is performed while changing an imaging target by the moving means, and a second imaging mode in which imaging of a predetermined subject is continued;
Determining means for determining whether to switch the imaging mode;
Control means for controlling the imaging means and the moving means according to the imaging mode;
A communication means for communicating with an external device;
Distribution means for distributing video captured by the imaging means to the external device via the communication means;
Means for detecting movement of the predetermined subject,
The distribution means continues to distribute the video when the movement of the predetermined subject is detected in the second imaging mode, and stops distributing the video when the movement is not detected,
The determination unit is configured to perform determination to switch the imaging mode from the second imaging mode to the first imaging mode when distribution of the video is stopped.
前記判定手段は、前記所定の被写体が所定の位置にいることが検出されない場合は前記撮像モードを前記第2の撮像モードから前記第1の撮像モードへ切り替えるように判定を行うことを特徴とする請求項7または8に記載の撮像装置。 Subject detection means for detecting the predetermined subject from the image captured by the imaging means;
The determination unit determines to switch the imaging mode from the second imaging mode to the first imaging mode when it is not detected that the predetermined subject is at a predetermined position. The imaging device according to claim 7 or 8.
前記判定手段は、前記外部機器からのモード切り替え要求に応じた撮像モードに切り替えるように判定を行うことを特徴とする請求項1または2に記載の撮像装置。 A communication means for communicating with an external device;
The imaging apparatus according to claim 1, wherein the determination unit determines to switch to an imaging mode in response to a mode switching request from the external device.
撮像モードを切り替えるか否かを判定する判定工程と、
前記判定の結果に応じて、前記撮像モードを、前記移動手段により撮像対象を変更しながら撮像を行う第1の撮像モードと、前記所定の被写体を撮像し続ける第2の撮像モードのいずれに切り替える工程と、
前記撮像モードに応じて前記撮像手段と前記移動手段を制御する工程と、を有し、
前記判定工程では、前記被写体検出手段により前記所定の被写体が所定の位置にいることが検出された場合に前記撮像モードを前記第1の撮像モードから前記第2の撮像モードへ切り替えるように判定を行い、
前記所定の被写体が前記所定の位置にいることが検出されない場合であっても、複数の被写体が検出された場合であって前記所定の被写体と他の被写体の位置が異なる場合は前記撮像モードを前記第1の撮像モードから前記第2の撮像モードへ切り替えるように判定を行うことを特徴とする撮像装置の制御方法。 A control method for an imaging apparatus, comprising: an imaging unit; a moving unit that moves the apparatus to change an imaging target; and a subject detection unit that detects a predetermined subject from an image captured by the imaging unit.
A determination step of determining whether to switch the imaging mode;
Depending on the result of the determination, the imaging mode is switched between a first imaging mode in which imaging is performed while the imaging target is changed by the moving means and a second imaging mode in which imaging of the predetermined subject is continued. Process,
Controlling the imaging means and the moving means according to the imaging mode,
In the determination step, it is determined to switch the imaging mode from the first imaging mode to the second imaging mode when the subject detection unit detects that the predetermined subject is in a predetermined position. Done
Even if it is not detected that the predetermined subject is at the predetermined position, the imaging mode is selected when a plurality of subjects are detected and the positions of the predetermined subject and other subjects are different. A method for controlling an imaging apparatus, comprising: determining to switch from the first imaging mode to the second imaging mode.
撮像モードを切り替えるか否かを判定する判定工程と、
前記判定の結果に応じて、前記撮像モードを、前記移動手段により撮像対象を変更しながら撮像を行う第1の撮像モードと、前記所定の被写体を撮像し続ける第2の撮像モードのいずれに切り替える工程と、
前記撮像モードに応じて前記撮像手段と前記移動手段を制御する工程と、を有し、
前記判定工程では、前記被写体検出手段により前記所定の被写体が所定の位置にいることが検出された場合に前記撮像モードを前記第1の撮像モードから前記第2の撮像モードへ切り替えるように判定を行い、
前記所定の被写体が前記所定の位置にいることが検出されない場合であっても、複数の被写体が検出された場合であって前記所定の被写体と他の全ての被写体の位置が異なる場合は前記撮像モードを前記第1の撮像モードから前記第2の撮像モードへ切り替えるように判定を行うことを特徴とする撮像装置の制御方法。 A control method for an imaging apparatus, comprising: an imaging unit; a moving unit that moves the apparatus to change an imaging target; and a subject detection unit that detects a predetermined subject from an image captured by the imaging unit.
A determination step of determining whether to switch the imaging mode;
Depending on the result of the determination, the imaging mode is switched between a first imaging mode in which imaging is performed while the imaging target is changed by the moving means and a second imaging mode in which imaging of the predetermined subject is continued. Process,
Controlling the imaging means and the moving means according to the imaging mode,
In the determination step, it is determined to switch the imaging mode from the first imaging mode to the second imaging mode when the subject detection unit detects that the predetermined subject is in a predetermined position. Done
Even when it is not detected that the predetermined subject is at the predetermined position, the imaging is performed when a plurality of subjects are detected and the positions of the predetermined subject and all other subjects are different. A method for controlling an imaging apparatus, comprising: determining to switch a mode from the first imaging mode to the second imaging mode.
撮像モードを切り替えるか否かを判定する判定工程と、
前記判定の結果に応じて、前記撮像モードを、前記移動手段により撮像対象を変更しながら撮像を行う第1の撮像モードと、所定の被写体を撮像し続ける第2の撮像モードのいずれに切り替える工程と、
前記撮像モードに応じて前記撮像手段と前記移動手段を制御する工程と、
前記通信手段を介して前記撮像手段により撮像された映像を前記外部機器に配信する配信工程と、
前記配信された映像が前記外部機器で視聴されているか否かを判定する工程と、を有し、
前記配信工程では、前記第2の撮像モードにおいて前記映像が配信されてから所定の時間以内に当該映像が前記外部機器で視聴されている場合は前記映像の配信を継続し、前記映像が視聴されない場合は前記映像の配信を停止し、
前記判定工程では、前記映像の配信が停止されると、前記撮像モードを前記第2の撮像モードから前記第1の撮像モードへ切り替えるように判定を行うことを特徴とする撮像装置の制御方法。 An imaging apparatus control method comprising: an imaging unit; a moving unit that moves the apparatus to change an imaging target; and a communication unit that communicates with an external device.
A determination step of determining whether to switch the imaging mode;
A step of switching the imaging mode between a first imaging mode in which imaging is performed while changing an imaging target by the moving unit and a second imaging mode in which imaging of a predetermined subject is continued according to the determination result. When,
Controlling the imaging means and the moving means according to the imaging mode;
A distribution step of distributing video captured by the imaging unit to the external device via the communication unit;
Determining whether the distributed video is being viewed on the external device, and
In the distribution step, when the video is viewed on the external device within a predetermined time after the video is distributed in the second imaging mode, the video is continuously distributed and the video is not viewed If this is the case, stop delivering the video,
In the determination step, when distribution of the video is stopped, a determination is made to switch the imaging mode from the second imaging mode to the first imaging mode.
撮像モードを切り替えるか否かを判定する判定工程と、
前記判定の結果に応じて、前記撮像モードを、前記移動手段により撮像対象を変更しながら撮像を行う第1の撮像モードと、所定の被写体を撮像し続ける第2の撮像モードのいずれに切り替える工程と、
前記撮像モードに応じて前記撮像手段と前記移動手段を制御する工程と、
前記通信手段を介して前記撮像手段により撮像された映像を前記外部機器に配信する配信工程と、
前記所定の被写体の動きを検出する工程と、を有し、
前記配信工程では、前記第2の撮像モードにおいて前記所定の被写体の動きが検出されている場合は前記映像の配信を継続し、前記動きが検出されなくなると前記映像の配信を停止し、
前記判定工程では、前記映像の配信が停止されると、前記撮像モードを前記第2の撮像モードから前記第1の撮像モードへ切り替えるように判定を行うことを特徴とする撮像装置の制御方法。 An imaging apparatus control method comprising: an imaging unit; a moving unit that moves the apparatus to change an imaging target; and a communication unit that communicates with an external device.
A determination step of determining whether to switch the imaging mode;
A step of switching the imaging mode between a first imaging mode in which imaging is performed while changing an imaging target by the moving unit and a second imaging mode in which imaging of a predetermined subject is continued according to the determination result. When,
Controlling the imaging means and the moving means according to the imaging mode;
A distribution step of distributing video captured by the imaging unit to the external device via the communication unit;
Detecting the movement of the predetermined subject,
In the distribution step, when the movement of the predetermined subject is detected in the second imaging mode, the distribution of the video is continued, and when the movement is not detected, the distribution of the video is stopped,
In the determination step, when distribution of the video is stopped, a determination is made to switch the imaging mode from the second imaging mode to the first imaging mode.
前記撮像装置は、
撮像手段と、
撮像対象を変更するために装置を移動させる移動手段と、
撮像モードを、前記移動手段により撮像対象を変更しながら撮像を行う第1の撮像モードと、所定の被写体を撮像し続ける第2の撮像モードのいずれに切り替えるモード切り替え手段と、
前記撮像モードを切り替えるか否かを判定する判定手段と、
前記撮像手段により撮像された画像から前記所定の被写体を検出する被写体検出手段と、
前記撮像モードに応じて前記撮像手段と前記移動手段を制御する制御手段と、
前記第2の撮像モードにおいて前記撮像手段により撮像された映像を前記通信装置に配信する配信手段と、を有し、
前記判定手段は、前記被写体検出手段により前記所定の被写体が所定の位置にいることが検出された場合に前記撮像モードを前記第1の撮像モードから前記第2の撮像モードへ切り替えるように判定を行い、
前記所定の被写体が前記所定の位置にいることが検出されない場合であっても、複数の被写体が検出された場合であって前記所定の被写体と他の被写体の位置が異なる場合は前記撮像モードを前記第1の撮像モードから前記第2の撮像モードへ切り替えるように判定を行い、
前記通信装置は、
前記撮像装置の撮像モードを切り替えるための要求を前記撮像装置へ送信する送信手段と、
前記撮像モードが前記第2の撮像モードに切り替えられた場合、前記撮像装置から映像を受信する受信手段と、
前記撮像装置から受信した映像を視聴可能に表示する表示手段と、を有することを特徴とするシステム。 A system in which an imaging device and a communication device are communicably connected,
The imaging device
Imaging means;
Moving means for moving the apparatus to change the imaging target;
Mode switching means for switching the imaging mode to any one of a first imaging mode in which imaging is performed while changing an imaging target by the moving means, and a second imaging mode in which imaging of a predetermined subject is continued;
Determining means for determining whether to switch the imaging mode;
Subject detection means for detecting the predetermined subject from the image captured by the imaging means;
Control means for controlling the imaging means and the moving means according to the imaging mode;
Distribution means for delivering the video imaged by the imaging means in the second imaging mode to the communication device;
The determination unit determines to switch the imaging mode from the first imaging mode to the second imaging mode when the subject detection unit detects that the predetermined subject is in a predetermined position. Done
Even if it is not detected that the predetermined subject is at the predetermined position, the imaging mode is selected when a plurality of subjects are detected and the positions of the predetermined subject and other subjects are different. A determination is made to switch from the first imaging mode to the second imaging mode;
The communication device
Transmitting means for transmitting a request for switching the imaging mode of the imaging device to the imaging device;
Receiving means for receiving video from the imaging device when the imaging mode is switched to the second imaging mode;
And a display means for displaying the video received from the imaging device so as to be viewable.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014102724A JP6381285B2 (en) | 2014-05-16 | 2014-05-16 | Imaging device, communication device, and control method, system, and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014102724A JP6381285B2 (en) | 2014-05-16 | 2014-05-16 | Imaging device, communication device, and control method, system, and program thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015220601A JP2015220601A (en) | 2015-12-07 |
JP2015220601A5 JP2015220601A5 (en) | 2017-06-22 |
JP6381285B2 true JP6381285B2 (en) | 2018-08-29 |
Family
ID=54779666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014102724A Active JP6381285B2 (en) | 2014-05-16 | 2014-05-16 | Imaging device, communication device, and control method, system, and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6381285B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6108645B1 (en) * | 2016-01-31 | 2017-04-05 | 貴司 徳田 | Motor module system |
JP1573020S (en) * | 2016-08-05 | 2017-04-03 | ||
IT201700059481A1 (en) * | 2017-05-31 | 2018-12-01 | Igoodi Srl | System for generating a virtual model of at least part of the body of a user or at least part of an object |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2955702B2 (en) * | 1995-03-07 | 1999-10-04 | 慎二 中島 | Car emergency call device |
JP3603737B2 (en) * | 2000-03-30 | 2004-12-22 | 日本電気株式会社 | Moving object tracking method and device |
JP2006059226A (en) * | 2004-08-23 | 2006-03-02 | Revol Systems:Kk | Stray child search apparatus |
JP4792823B2 (en) * | 2005-06-09 | 2011-10-12 | ソニー株式会社 | NETWORK SYSTEM, MOBILE DEVICE, ITS CONTROL METHOD, AND COMPUTER PROGRAM |
JP2009268005A (en) * | 2008-04-30 | 2009-11-12 | Meidensha Corp | Intrusion object detecting and tracking device |
JP5674406B2 (en) * | 2010-09-30 | 2015-02-25 | 綜合警備保障株式会社 | Surveillance system, monitoring device, autonomous mobile body, monitoring method, and monitoring program using autonomous mobile body |
-
2014
- 2014-05-16 JP JP2014102724A patent/JP6381285B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015220601A (en) | 2015-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6039328B2 (en) | Imaging control apparatus and imaging apparatus control method | |
KR102158214B1 (en) | Mobile terminal and control method for the mobile terminal | |
JP5373229B1 (en) | IMAGING DEVICE, IMAGING METHOD THEREOF, AND STORAGE MEDIUM FOR STORING TRACKING PROGRAM PROCESSABLE BY COMPUTER | |
KR102114377B1 (en) | Method for previewing images captured by electronic device and the electronic device therefor | |
JP6447505B2 (en) | Information processing apparatus, imaging apparatus, imaging system, information processing apparatus control method, imaging apparatus control method, and program | |
US9525828B2 (en) | Group recording method, machine-readable storage medium, and electronic device | |
KR20140104748A (en) | Image capturing using multiple screen sections | |
JP2015090547A (en) | Information input device, information input method, and computer program | |
US9635235B2 (en) | Communication apparatus and control method thereof | |
KR102655625B1 (en) | Method and photographing device for controlling the photographing device according to proximity of a user | |
JP6451644B2 (en) | Information processing apparatus, imaging apparatus, imaging system, information processing apparatus control method, imaging apparatus control method, and program | |
KR101586700B1 (en) | Sensing apparatus event sensing method and photographing system | |
JP6381285B2 (en) | Imaging device, communication device, and control method, system, and program thereof | |
KR20180028701A (en) | Portable camera and method for controlling the same | |
US11128764B2 (en) | Imaging apparatus, control method, and non-transitory computer readable medium | |
JP2019205161A (en) | Imaging apparatus, control method of imaging apparatus, and program | |
US20160379416A1 (en) | Apparatus and method for controlling object movement | |
JP2013098658A (en) | Content management apparatus, recording apparatus, operating apparatus, content management system and control method for them | |
JP6218911B2 (en) | Imaging control device and control method of imaging control device | |
JP7400301B2 (en) | Communication management server, communication system, transmission device, communication method, and program | |
JP6465029B2 (en) | Information processing apparatus, imaging apparatus, imaging system, information processing apparatus control method, imaging apparatus control method, and program | |
JP2014060500A (en) | Display control device and imaging device | |
US10834162B2 (en) | Communication management server, communication system, transmitting apparatus, communication method, and program | |
US20240176411A1 (en) | Electronic device and method for controlling electronic device | |
JP2021027390A (en) | Display terminal, remote control system, display control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170509 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180731 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6381285 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |