JP6494961B2 - 制御装置、ロボット、および制御プログラム - Google Patents

制御装置、ロボット、および制御プログラム Download PDF

Info

Publication number
JP6494961B2
JP6494961B2 JP2014181763A JP2014181763A JP6494961B2 JP 6494961 B2 JP6494961 B2 JP 6494961B2 JP 2014181763 A JP2014181763 A JP 2014181763A JP 2014181763 A JP2014181763 A JP 2014181763A JP 6494961 B2 JP6494961 B2 JP 6494961B2
Authority
JP
Japan
Prior art keywords
robot
unit
trigger
user
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014181763A
Other languages
English (en)
Other versions
JP2016055361A (ja
Inventor
中村 珠幾
珠幾 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2014181763A priority Critical patent/JP6494961B2/ja
Publication of JP2016055361A publication Critical patent/JP2016055361A/ja
Application granted granted Critical
Publication of JP6494961B2 publication Critical patent/JP6494961B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Shutter-Related Mechanisms (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Manipulator (AREA)

Description

本発明は、撮影部の機能を制御する制御装置、制御装置を備えるロボット、および撮影部の機能を制御する制御プログラムに関する。
従来から、カメラを備えたロボットに関する技術が知られている。例えば、特許文献1には、ロボットに備えられたカメラが、トリガ信号の入力によって撮像対象の撮像を開始する技術が開示されている。
特開2012‐166314号公報(2012年9月6日公開)
しかしながら、特許文献1におけるトリガ信号は、撮影対象の位置を検出するためのものである。このため、特許文献1の技術は、様々な場面で撮影を行う場合に、汎用性がなく不向きであるという問題がある。
また、現在の普及している携帯用カメラは、通常時では電源スイッチがOFF状態であり、使用時にはユーザによる何らかの操作により電源スイッチがON状態とされる。このため、ユーザは、従来の携帯用カメラを用いて撮影する際、携帯用カメラを撮影可能な位置に移動させるとともに、携帯用カメラの電源スイッチを手動でON状態にするという少なくとも2つの動作を行う必要がある。すなわち、ユーザによる撮影機能の操作が煩雑となるという問題がある。
本発明は、上記の問題点に鑑みてなされたものであって、その目的は、様々な場面で撮影することが可能であり、撮影機能を起動する際のユーザによる操作を簡易とする制御装置を提供することにある。
上記の課題を解決するために、本発明の一態様に係る制御装置は、ロボットに設けられた撮影部の起動を制御するための制御装置であって、上記ロボットが検知した検知内容が所定のトリガであるか否かを判定するトリガ判定手段と、上記ユーザが上記ロボットを把持しているか否かを判定する把持判定手段と、上記撮影部を起動させる起動手段と、を備え、上記トリガ判定手段により所定のトリガであると判定された上記検知内容が、撮影開始を示すトリガであり、かつ、上記把持判定手段により上記ユーザが上記ロボットを把持していることが判定された場合に、上記起動手段は上記撮影部を起動させることを特徴としている。
本発明の一態様によれば、制御装置は、撮影開始のトリガに応じて、ユーザがロボットを把持することにより、撮影部の撮影機能を起動することができる。それゆえ、ユーザは様々な場面でバリエーション豊富な撮影を行うことができるとともに、撮影機能を起動する際のユーザによる操作が簡易となる。
本発明の一実施形態に係るロボットの要部構成の一例を示すブロック図である。 本発明の概要を示す図である。 上記ロボットが備える把持判定部の判定処理の一例を示すフローチャートである。 実施形態1に係る制御装置の処理の一例を示すフローチャートである。 実施形態2に係る制御装置の処理の一例を示すフローチャートである。 実施形態3に係る制御装置の処理の一例を示すフローチャートである。
〔実施形態1〕
以下、本発明の一実施形態について、図1〜図4に基づいて説明する。本発明に係るロボットは、カメラを備えており、ユーザにより把持されている場合にカメラ撮影を行うものである。また、ロボットは二足歩行可能なロボットでもよいし、アニメキャラクタや動物などの形状のロボットでもよい。なお、ロボットの大きさは携帯可能な大きさである。
(本発明の概要)
図2は、本発明の概要を示す図である。図2の(a)に示すロボットは、通常状態(V=0)にある。通常状態(V=0)とは、撮影機能を起動させていない状態であり、例えば、ロボットは、図2の(a)に示すように、撮影に不適切な姿勢(形状)となっていてもよい。
図2の(b)に示すロボットは、カメラ利用準備状態(V=1)にある。カメラ利用準備状態(V=1)とは、ユーザが把持し易い姿勢(形状)にある状態である。より具体的には、ユーザによる撮影開始の指示(例えば、音声「写真撮るよー」)が検出されると、ロボットは、図2の(a)に示す通常状態(V=0)から、カメラ利用準備状態(V=1)に変化する。例えば、ロボットに首部位がある場合には、図2の(b)に示すように、ロボットは、ロボットの首を真っ直ぐにすることにより、ロボットの体の向きとロボットの撮影方向とを同一方向とし、ユーザが撮影方向を認識し易い姿勢(撮影し易い姿勢)に変化する。なお、ロボットの姿勢がユーザの把持し易い形状(V=1)に変化した後、ロボットは、「はーい。持ち上げてー」などと発話することにより、ロボットがカメラ利用準備状態となったことをユーザに知らせてもよい。
図2の(c)の左側に示すロボットは、カメラ利用可能状態(V=2)にある。カメラ利用可能状態(V=2)とは、カメラの撮影機能が起動した状態である。例えば、ロボットは、図2の(b)に示したカメラ利用準備状態でユーザによって把持され、撮影に適する高さまで持ち上げられると、カメラの撮影機能を起動し、カメラ利用可能状態(V=2)となる。なお、ロボットは、カメラの撮影機能を起動する際に、ロボットに備えられた表示画面にカメラによるスルー画像を表示してもよい。
図2の(c)に左側に示すロボットは、例えばユーザの「はい、チーズ」などの音声を検出するとカメラ撮影を行い、撮影後に「かしゃー」と発話することによりカメラ撮影を行ったことをユーザに知らせる。なお、ロボットは、ユーザにより既に把持された状態で、ユーザによる撮影開始の指示(例えば音声「写真撮るよー」)を検出した場合、通常状態(V=0)からカメラ利用可能状態(V=2)に変化し、カメラ撮影を行ってもよい。
図2の(c)の右側に示すロボットは、カメラ撮影後に、撮影停止の指示が検出されないまま、ロボットを置ける場所まで降ろされたものである。図2の(c)に示すように、ユーザにより把持されていないロボットは、カメラの撮影機能および表示画面へのスルー画像の表示を停止する。すなわち、該ロボットは、カメラ利用可能状態(V=2)からカメラ利用準備状態(V=1)または通常状態(V=0)に変化する。
図2の(d)の左側に示すロボットは、通常状態(V=0)にあり、カメラ撮影を終了した後、ユーザの音声によりカメラ利用可能状態(V=2)から変化したものである。より具体的には、ユーザによる撮影停止の指示(例えば、音声「おしまい。おろすよー」)が検出されると、ロボットは、カメラの撮影機能および表示画面へのスルー画像の表示を停止し、ロボット自身の姿勢を自立し易い形状に変化させる。なお、撮影停止の指示が検出されると、ロボットは、「はーい」などと発話することにより、ロボットがカメラ利用可能状態ではなくなることをユーザに知らせてもよい。
図2の(d)の右側に示すロボットは、図2の(d)の左側に示すロボットが、該ロボットを置ける場所まで降ろされ、置かれたものである。図2の(d)の右側に示すロボットは、通常状態(V=0)である。なお、図2の(d)の右側に示すロボットの姿勢は、図2の(a)に示すロボットの姿勢と同一であることに限定しない。
(ロボットの要部構成)
図1は、本発明の一実施形態に係るロボット10の要部構成の一例を示すブロック図である。図1に示すように、ロボット10は、制御装置1、検知部60、駆動部71、カメラ(撮影部)72、表示画面73、音声出力部74、および記憶部80を備える。制御装置1は、検知部60によって検知されたデータを取得し、取得したデータに基づいて、駆動部71、カメラ72、表示画面73、および音声出力部74の機能を制御する。なお、制御装置1の詳細については、後述する。
検知部60は、音声入力部61、物体検知部62、GPS受信部63、温度センサ64、加速度センサ65、グリップセンサ66を備える。音声入力部61は、ユーザの音声を集音するものであり、例えばマイクで構成される。物体検知部62は、ロボットの周囲にある物体の形状を検知するものであり、例えば赤外線センサまたはカメラで構成される。赤外線センサは、白黒で物体の形状を検知するものであり、物体の色および形状を検知するカメラと比較して、低消費電力で動作する。また、物体検知部62としてのカメラは、比較的、低解像度を有するものが好ましい。GPS受信部63は、GPS(global positioning system)からの電波を受信するものである。温度センサ64は、ロボットの周囲の温度を検知するものである。加速度センサ65は、ロボットの動きにより生じるロボットの加速度を検知するものである。グリップセンサ66は、ユーザがロボットを把持しているか否かを検知する。例えば、グリップセンサ66は、静電容量式センサまたは感圧式センサである。
駆動部71は、制御装置1からの通知に従ってロボットを駆動し、例えばサーボモータで構成される。
カメラ72は、制御装置1からの通知に従って撮影を行う。なお、カメラ72は、比較的。高解像度を有する者が好ましい。また、カメラ72は、物体検知部62としてのカメラと同一のものであってもよいし、異なるものであってもよい。カメラ72が物体検知部62としてのカメラと同一のものである場合、物体検知部62として動作するカメラの解像度は低く、制御装置1からの通知に従って動作するカメラの解像度は高いものとする。
表示画面73は、制御装置1からの通知に従って、カメラ72によって撮影された画像(スルー画像を含む)を表示するものである。例えば、表示画面73は、タッチパネルを備えたLCD(Liquid crystal display:液晶ディスプレイ)が用いられる。
音声出力部74は、制御装置1からの通知に従って音声を出力する。音声出力部74は、例えばスピーカである。
記憶部80は、制御装置1が実行する制御プログラム、および、ロボット10が使用する各種データを記憶するものである。例えば、記憶部80は、ハードディスク、フラッシュメモリなどの不揮発性の記憶装置によって構成される。
(制御装置の構成)
図1に示すように、制御装置1は、判定部2、姿勢制御部(姿勢制御手段)3、時間計測部4、撮影制御部5、表示部(表示手段)6、および音声合成部7を備える。判定部2は検知部60から出力される検知内容を判定し、判定結果を姿勢制御部3および撮影制御部5に通知する。
判定部2は、トリガ判定部(トリガ判定手段)21、および把持判定部(把持判定手段)22を備える。トリガ判定部21は、検知部60によって検知された検知内容が、所定のトリガであるか否かを判定する。所定のトリガとは、撮影開始を示す指示、撮影停止を示す指示、撮影方向を撮影対象の移動先に追従することを示す指示である。なお、トリガ判定部21の判定例については、後述する。
把持判定部22は、加速度センサ65またはグリップセンサ66の検知内容に基づいて、ユーザがロボットを把持しているか否かを判定する。また、把持判定部22は、加速度センサ65の検知内容に基づいて、ユーザがロボットを任意の場所(置かれている場所)から撮影に適する高さに移動させた(持ち上げた)か否かを、および、ロボットを任意の場所に置いた(降ろした)か否かを判定する。把持判定部22の判定例については、図3にて後述する。
姿勢制御部3は、トリガ判定部21および把持判定部22の判定結果に基づいて駆動部71を制御する。例えば、検知部60によって検知された検知内容が、撮影開始を示すトリガであるとトリガ判定部21によって判定され、かつ把持判定部22によってユーザはロボットを把持していないと判定された場合に、姿勢制御部3は、ロボットをカメラ利用準備状態(V=1)の姿勢に変化させる。また例えば、検知部60によって検知された検知内容が、撮影停止を示すトリガであるとトリガ判定部21によって判定され、かつ把持判定部22によってユーザはロボットを把持していると判定された場合に、姿勢制御部3は、ロボットを自立可能な姿勢に変化させる。
時間計測部4は、姿勢制御部3からの通知に応じて、姿勢制御部3がロボットの姿勢をカメラ利用状態(V=1)に変化させた時刻からの時間を計測する。そして、計測した時間が所定の時間を超えると姿勢制御部3に通知する。なお、所定の時間は、予め設定された時間であり、ロボットの状態がカメラ利用準備状態(V=1)からカメラ利用可能状態(V=2)に変化するまでに要する時間よりも長い時間である(例えば3分)。
撮影制御部5は、判定部2から通知される判定結果に応じて、カメラ72の撮影機能を制御する。撮影制御部5は、撮影起動部(起動手段)51、撮影停止部(停止手段)52、および撮影方向変更部(撮影方向変更手段)53を備える。
撮影起動部51は、トリガ判定部21および把持判定部22の判定結果に基づいて、カメラ72の撮影機能を起動する。例えば、検知部60によって検知された検知内容が、撮影開始を示すトリガであるとトリガ判定部21によって判定され、かつ把持判定部22によってユーザはロボットを把持している(持ち上げた)と判定された場合に、カメラ72の撮影機能を起動する。なお、カメラ72が物体検知部62としてのカメラと同一である場合、撮影起動部51は、カメラ72の解像度を高く設定して、カメラ72の撮影機能を起動する。
撮影停止部52は、トリガ判定部21および把持判定部22の判定結果に基づいて、撮影起動部51により起動されたカメラ72の撮影機能を停止する。例えば、検知部60によって検知された検知内容が、撮影停止を示すトリガであるとトリガ判定部21によって判定された場合、または、把持判定部22によってユーザはロボットを把持していない(置いた)と判定された場合に、カメラ72の撮影機能を停止する。
撮影方向変更部53は、トリガ判定部21および把持判定部22の判定結果に基づいて、駆動部71を制御することにより、カメラ72の撮影方向を撮影対象の移動先に追従させる機能(追従機能)を制御する。そして、カメラによる動画撮影を制御する。撮影対象の位置を特定する方法については、音声入力部61が検知する音声を用いてもよいし、物体検知部62が検知する検知内容に基づいた画像認識を利用してもよい。
例えば、検知部60によって検知された検知内容が、追従開始を示すトリガであるとトリガ判定部21によって判定され、かつ、把持判定部22によってユーザがロボットを把持していないと判定された場合に、撮影方向変更部53は、カメラの撮影方向を撮影対象の移動先に追従させ、動画撮影を開始する。また、把持判定部22によりユーザがロボット10を把持していることが判定された場合に、撮影方向変更部53は、カメラの撮影方向の追従を停止し、動画撮影を停止する。
表示部6は、撮影制御部5からの通知に応じて、カメラ72によって撮影される画像(スルー画像を含む)を表示画面73に表示させる。
音声合成部7は、撮影制御部5からの通知に応じて音声を合成し、合成した音声を音声出力部74に出力させる。
(トリガ判定部の判定例)
検知部60による検知内容が撮影開始を示すトリガであるか否かの判定は、音声入力部61、物体検知部62、GPS受信部63、温度センサ64、または加速度センサ65による検知内容に基づいて行われる。
例えば、音声入力部61がユーザの音声を検知すると、トリガ判定部21は、音声入力部61が検知した音声が撮影開始を示すトリガか否かを判定する。音声入力部61が検知した音声は、撮影開始を示す直接的な指示(ユーザの音声「カメラ起動して」など)であってもよいし、撮影開始を示す間接的な指示であってもよい(ロボット10の音声「写真撮ったら?」の発話に対して、ユーザの音声「そうだね」の回答など)。
また、例えば、物体検知部62が物体の存在を検知すると、トリガ判定部21は、物体検知部62が検知した物体を解析し、解析した物体が、予め設定されているジェスチャ(グー、チョキ、パー等)、人の顔またはランドマークであるか否かを判定する。物体検知部62が検知した物体が、予め設定されているジェスチャ、人の顔またはランドマークである場合、トリガ判定部21は、物体検知部62による検知内容は撮影開始を示すトリガであると判定する。なお、ランドマークとは、観光名所等であり、ユーザが記念撮影をする可能性が高い施設である。また、トリガ判定部21の判定に用いられるジェスチャおよびランドマークは、ユーザにより予め設定されていてもよい。
また例えば、GPS受信部63がGPS信号を受信すると、トリガ判定部21は、GPS受信部63が受信したGPS信号からロボット10の現在位置を特定する。そして、トリガ判定部21は、GPS信号に基づいて特定した位置が、所定の地域内にある場合、GPS受信部63による検知内容は撮影開始を示すトリガであると判定する。なお、所定の地域は、観光地などのユーザが記念撮影をする可能性が高い場所であり、ユーザにより予め設定されていてもよい。
また例えば、温度センサ64が検知した温度が、所定の温度の範囲外である場合、トリガ判定部21は、温度センサ64による検知内容は撮影開始を示すトリガであると判定する。なお、所定の温度とは、ロボット10が普段いる土地における温度(例えば、5℃〜35℃)であり、ユーザにより設定されてもよいし、温度センサ64により検知された温度に基づいて算出されてもよい。
また例えば、トリガ判定部21は、加速度センサ65による検知内容から、加速度を算出し、算出した加速度が所定の値よりも大きな値である場合に、加速度センサ65による検知内容は撮影開始を示すトリガであると判定する。なお、所定の値は、後述するT1よりも大きい値とし、不慮の事故等による衝撃で生じる加速度の値を下回るものとする。例えば、所定の値は、ロボット10の材質および重さによって設定される。
また、検知部60による検知内容が、撮影停止を示すトリガ、または撮影方向を撮影対象の移動先に追従することを示すトリガであるか否かの判定は、音声入力部61による検知内容に基づいて行われる。なお、音声認識技術については、公知技術を用いるものとする。
(把持判定部の制御例)
図3は、ロボット10が備える把持判定部22の判定処理の一例を示すフローチャートである。図3に示すように、ロボット10は、任意の場所に置かれている状態(状態の初期化S=1)にあり(S41)、把持判定部22は、加速度センサ65により検知された検知内容を取得する。そして、把持判定部22は、加速度センサ65により検知された検知内容に基づいて、ロボット10の加速度の値A(A=X+Y+Z)を算出する(S42)。S42後、把持判定部22は、S42にて算出した値Aと第1閾値T1とを比較する(S43)。
なお、加速度センサ65は、互いに直交する3軸方向における値(X、YおよびZ)を出力する。加速度センサ65が出力する、X軸方向、Y軸方向およびZ軸方向の加速度値の範囲は、各々、−1以上+1以下である。また、第1閾値T1は、ユーザによってロボット10が任意の場所(置かれている場所)から撮影に適する高さに移動させられた(持ち上げられた)と、判定できる値とする。例えば、第1閾値T1は、ロボット10の材質および重さによって設定される。
S42にて算出した値Aが、第1閾値T1より大きい値の場合(S43にてYES)、把持判定部22は、ロボット10が任意の場所から撮影に適する高さに移動させられた(持ち上げられた)と判定する(S44)。そして、把持判定部22は、ロボット10を、ユーザによって把持されている状態(持ち上げられた状態、S=2)にあると設定する(S45)。一方、S43にてNOの場合、S42以降の処理を繰り返す。
次に、ロボット10がユーザによって把持されている状態(S=2)にある場合について、図3に示すS61〜S64に基づいて説明する。把持判定部22は、S42と同様に、加速度センサ65により検知された検知内容を取得し、加速度センサ65により検知された検知内容に基づいて、ロボット10の加速度の値Aを算出する(S61)。S61後、把持判定部22は、S61にて算出した値Aと第2閾値T2とを比較する(S62)。なお、第2閾値T2は、第1閾値T1よりも小さい値であり、ユーザによってロボット10が任意の場所に置かれた(降ろされた)と、判定できる値とする。例えば、第2閾値T2は、ロボット10の材質および重さによって設定される。
S61にて算出した値Aが、第2閾値T2より小さい値の場合(S62にてYES)、把持判定部22は、ロボット10が任意の場所に置かれた(降ろされた)と判定する(S63)。そして、把持判定部22は、ロボット10を、ユーザによって把持されていない状態(置かれている状態、S=1)にあると設定する(S64)。一方、S62にてNOの場合、S61以降の処理を繰り返す。
(カメラ機能の制御例)
図4は、本実施形態に係る制御装置1の処理の一例を示すフローチャートである。図4に示す処理が開始される際のロボット10は、通常状態(V=0)にあるものとして説明する。まず、トリガ判定部21は、検知部60により検知された検知内容が、撮影開始を示すトリガであるか否かを判定する(S1)。検知部60により検知された検知内容が、撮影開始を示すトリガである場合(S1にてYES)、把持判定部22は、ロボット10がユーザにより把持されている状態(S=2)にあるか否かを判定する(S2)。把持判定部22がS=2であると判定する場合(S2にてYES)、撮影起動部51はカメラの撮影機能を起動させ、かつ、表示部6はカメラにより撮影される画像を表示画面73に表示させ、ロボット10の状態はカメラ利用可能状態V=2となる(S5)。
一方、把持判定部22がS=2でないと判定する場合、すなわち、ロボット10がユーザにより把持されていない状態(S=1)にあると判定する場合(S2にてNO)、姿勢制御部3は、ロボット10の姿勢をカメラ利用準備状態(V=1)に変化させる(S3)。S3の後、把持判定部22は、ロボット10が任意の場所から撮影に適する高さに移動させられた(持ち上げられた)状態(S=2)にあるか否かを判定する(S4)。把持判定部22がS=2であると判定する場合(S4にてYES)、S5の処理に移行する。なお、S4にてNOの場合はS4の処理を繰り返す。
次に、カメラの撮影機能を停止する処理について、図4に示すS6〜S10に基づいて説明する。ロボット10はカメラ利用可能状態V=2であり、把持判定部22は、ロボット10が任意の場所に置かれた(降ろされた)状態(S=1)にあるか否かを判定する(S6)。把持判定部22がS=1にあると判定する場合(S6にてYES)、撮影停止部52はカメラの撮影機能を停止し、かつ、表示部6は表示画面73への表示を停止し、ロボット10の状態は通常状態V=0となる(S7)。
一方、把持判定部22がS=1でないと判定する場合、すなわち、ロボット10がユーザに把持されている状態(S=2)にあると判定する場合(S6にてNO)、トリガ判定部21は、検知部60により検知された検知内容が、撮影停止を示すトリガであるか否かを判定する(S8)。検知部60により検知された検知内容が、撮影停止を示すトリガである場合(S8にてYES)、S7の処理と同様に、撮影停止部52はカメラの撮影機能の停止し、かつ、表示部6は表示画面73への表示を停止し、ロボット10の状態は通常状態V=0となる(S9)。S9の後、姿勢制御部3は、ロボット10を自立可能な姿勢に変化させる(S10)。なお、S8にてNOの場合、S6以降の処理を繰り返す。
(効果)
上記の構成によれば、撮影開始を示すトリガが検出され、かつ、ユーザがロボット10を把持している場合に、カメラの撮影機能が起動する。また、撮影停止を示すトリガが検出されるか、またはユーザがロボット10を把持していない場合、カメラの撮影機能が停止する。このため、ユーザは様々な場面でバリエーション豊富な撮影を行うことができるとともに、撮影機能の起動および停止のユーザによる操作が簡易となる。例えば、撮影機能を起動する際、静止画撮影、動画撮影、およびバーコード認識に至るまでの操作が簡易となる。
また、上記の構成によれば、撮影開始を示すトリガが検知され、かつユーザがロボット10を把持していない場合、ロボット10の姿勢はユーザが把持し易い形状に変化する。このため、ユーザは、撮影する際にロボット10を安定して把持することができる。それゆえ、カメラのピントを合わせることが容易となり、比較的鮮明な画像を撮影することが可能となる。
また、上記の構成によれば、撮影停止を示すトリガが検知され、かつユーザがロボット10を把持している場合、ロボット10の姿勢は自立可能な姿勢に変化する。このため、ユーザは、ロボット10の転倒を心配することなくロボット10を任意の場所に置くことが可能となる。
また、上記の構成によれば、カメラの撮影機能の起動および停止に応じて、表示画面73への画像表示が制御される。このため、表示画面73への画像の表示を開始または停止する操作は不要となり、ユーザによる操作の煩雑化を防止できる。
〔実施形態2〕
本発明の他の実施形態について、図5に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、ロボット10の状態が、ユーザによる音声指示またはタイムアウトにて、カメラ利用準備状態V=1から通常状態V=0に戻る処理について説明する。図5は、本実施形態に係る制御装置1の処理の一例を示すフローチャートである。図5に示す処理は、図4に示す処理に、S21〜S23を追加したものであり、図5に示すS11〜S20は、図4に示すS1〜S10に各々対応する。
上述したように、S11〜13の処理は、S1〜S3の処理と各々同様である。そして、図5に示すように、姿勢制御部3が、ロボット10の姿勢をカメラ利用準備状態(V=1)に変化させた(S13)後、姿勢制御部3は時間計測部4に通知し、時間計測部4は、姿勢制御部3がロボット10の姿勢をカメラ利用状態(V=1)に変化させた時刻からの時間を計測する(S21)。S21の後、把持判定部22は、ロボット10が任意の場所から撮影に適する高さに移動させられた(持ち上げられた)状態(S=2)にあるか否かを判定する(S14)。把持判定部22がS=2であると判定する場合(S14にてYES)、撮影起動部51はカメラの撮影機能を起動させ、かつ、表示部6はカメラにより撮影される画像を表示画面73に表示させて、ロボット10の状態はカメラ利用可能状態V=2となる(S15)。
一方、把持判定部22がS=2でないと判定する場合、すなわち、ロボット10が任意の場所に置かれている状態(S=1)にあると判定する場合(S14にてNO)、トリガ判定部21は、検知部60により検知された検知内容が、撮影停止を示すトリガであるか否かを判定する(S22)。検知部60により検知された検知内容が、撮影停止を示すトリガである場合(S22にてYES)、姿勢制御部3は、ロボット10を自立し易い姿勢に変化させる(S20)。
また、検知部60により検知された検知内容が、撮影停止を示すトリガでない場合(S22にてNO)、時間計測部4は、S21にて計測開始した時間が所定の時間を超えるか否かを判定する(S23)。S21にて計測開始した時間が所定の時間を超える場合(S23にてYES)、S20の処理に移行する。なお、S23にてNOの場合、S14以降の処理を繰り返す。
(効果)
上記の構成によれば、ロボット10の姿勢がユーザの把持し易い姿勢に変化させた時刻からの時間が、所定時間を超えた場合、ロボット10の姿勢が自立可能な姿勢に変化する。このため、撮影が不要となった場合に、ユーザの操作無しで、ロボット10の姿勢は自動で自立可能な姿勢に変化することが可能となる。
〔実施形態3〕
本発明の他の実施形態について、図6に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、カメラの撮影方向が撮影対象の動く方向に追従する処理について説明する。図6は、本実施形態に係る制御装置1の処理の一例を示すフローチャートである。図6に示す処理が開始される際のロボット10は、通常状態(V=0)にあるものとして説明する。
図6に示すように、トリガ判定部21は、検知部60により検知された検知内容が、撮影方向を撮影対象の動く方向に追従することを示すトリガであるか否かを判定する(S31)。検知部60により検知された検知内容が、撮影方向を撮影対象の動く方向に追従することを示すトリガである場合(S31にてYES)、把持判定部22は、ロボット10がユーザにより把持されている状態(S=2)にあるか否かを判定する(S32)。
把持判定部22がS=2でないと判定する場合(S32にてNO)、撮影方向変更部53は追従機能を起動させる(カメラ追従状態V=3、S33)。S33の際、撮影方向変更部53は、カメラによる動画撮影を開始させるとともに、表示画面73に撮影した動画像を表示させてもよい。また、S33の際、撮影方向変更部53は、追従機能を起動させる際、表示画面73にスルー画像を表示させてもよい。なお、把持判定部22がS=2であると判定する場合(S32にてYES)、S32の判定処理を繰り返す。
S33の後、把持判定部22は、ロボット10が任意の場所から撮影に適する高さに移動させられた(持ち上げられた)状態(S=2)にあるか否かを判定する(S34)。把持判定部22がS=2であると判定する場合(S34にてYES)、撮影起動部51は動画撮影の機能を一時的に停止させ、かつ、撮影方向変更部53は追従機能を一時的に停止させる(追従一時停止状態V=4、S35)。S35の際、撮影起動部51は静止画を撮影する機能を起動させてもよい。把持判定部22がS=2でないと判定する場合(S34にてNO)、S36の処理に移行する。
S35の後、トリガ判定部21は、検知部60により検知された検知内容が、追従停止を示すトリガであるか否かを判定する(S36)。検知部60により検知された検知内容が、追従停止を示すトリガである場合(S36にてYES)、撮影方向変更部53は追従機能を停止し、カメラによる動画撮影を停止させる(S37)。一方、S36にてNOの場合、把持判定部22は、ロボット10が任意の場所に置かれた(降ろされた)状態(S=1)にあるか否かを判定する(S38)。
把持判定部22がS=1であると判定する場合(S38にてYES)、S33以降の処理を繰り返す。把持判定部22がS=2でないと判定する場合(S38にてNO)、S36以降の処理を繰り返す。
(効果)
上記の構成によれば、追従開始を示すトリガが検出され、ユーザがロボット10を把持していない場合に、カメラの撮影方向は、撮影対象の移動先に追従するように変更される。このため、動いている撮影対象を自動で捕捉しつつ、撮影することが可能となる。
また、上記の構成によれば、追従停止を示すトリガが検出され、ユーザがロボット10を把持している場合に、カメラの撮影方向の変更は停止される。このため、ユーザが把持した状態でカメラ撮影を行う際に、ピントがぼけることを防止することが可能となる。
〔ソフトウェアによる実現例〕
制御装置1の制御ブロック(特に、判定部2、姿勢制御部3、時間計測部4、撮影制御部5、および表示部6)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、制御装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る制御装置(1)は、ロボット(10)に設けられた撮影部(カメラ72)の起動を制御するための制御装置であって、上記ロボットが検知した検知内容が所定のトリガであるか否かを判定するトリガ判定手段(トリガ判定部21)と、ユーザが上記ロボットを把持しているか否かを判定する把持判定手段(把持判定部22)と、上記撮影部を起動させる起動手段(撮影起動部51)と、を備え、上記トリガ判定手段により所定のトリガであると判定された上記検知内容が、撮影開始を示すトリガであり、かつ、上記把持判定手段により上記ユーザが上記ロボットを把持していることが判定された場合に、上記起動手段は上記撮影部を起動させることを特徴としている。
上記の構成によれば、トリガ判定手段により所定のトリガであると判定された検知内容が、撮影開始を示すトリガであり、かつ、把持判定手段によりユーザがロボットを把持していることが判定された場合に、起動手段は撮影部を起動させる。撮影開始を示すトリガは、例えばユーザによる音声指示である。このため、制御装置は、撮影開始のトリガに応じて、ユーザがロボットを把持することにより、撮影部の撮影機能を起動することができる。それゆえ、ユーザは様々な場面でバリエーション豊富な撮影を行うことができるとともに、撮影機能を起動する際のユーザによる操作が簡易となる。
本発明の態様2に係る制御装置は、上記態様1において、上記ロボットに設けられた駆動部(71)を駆動させることにより、上記ロボットの姿勢を変化させる姿勢制御手段(姿勢制御部3)をさらに備え、上記トリガ判定手段により所定のトリガであると判定された上記検知内容が撮影開始を示すトリガであり、かつ、上記把持判定手段により上記ユーザが上記ロボットを把持していないことが判定された場合に、上記姿勢制御手段は、上記ロボットの姿勢をユーザが把持し易い姿勢に変化させてもよい。
上記の構成によれば、上記制御装置は、トリガ判定手段により所定のトリガであると判定された検知内容が撮影開始を示すトリガであり、かつ、把持判定手段によりユーザがロボットを把持していないことが判定された場合に、ロボットの姿勢をユーザが把持し易い姿勢に変化させる。このため、ユーザは、撮影する際にロボットを安定して把持することができる。それゆえ、撮影部のピントを合わせることが容易となり、比較的鮮明な画像を撮影することが可能となる。
本発明の態様3に係る制御装置は、上記態様2において、上記トリガ判定手段により所定のトリガであると判定された上記検知内容が撮影停止を示すトリガであり、かつ、上記把持判定手段により上記ユーザが上記ロボットを把持していることが判定された場合に、上記姿勢制御手段は、上記ロボットの姿勢を自立可能な姿勢に変化させてもよい。
上記の構成によれば、上記制御装置は、トリガ判定手段により所定のトリガであると判定された検知内容が撮影停止を示すトリガであり、かつ、把持判定手段によりユーザがロボットを把持していることが判定された場合に、ロボットの姿勢を自立可能な姿勢に変化させる。このため、ユーザは、撮影を終了した際に、ロボットの転倒を心配することなく、ロボットを任意の場所に置くことが可能となる。
本発明の態様4に係る制御装置は、上記態様2において、上記姿勢制御手段が上記ロボットの姿勢をユーザが把持し易い姿勢を変化させた時刻からの時間が、所定時間を超えた場合、上記姿勢制御手段は、上記ロボットの姿勢を自立可能な姿勢に変化させてもよい。
上記の構成によれば、上記制御装置は、姿勢制御手段がロボットの姿勢をユーザが把持し易い姿勢を変化させた時刻からの時間が、所定時間を超えた場合、ロボットの姿勢を自立可能な姿勢に変化させる。このため、撮影が不要となった場合に、ユーザの操作無しで、ロボットの姿勢は自動で自立可能な姿勢に変化することができる。
本発明の態様5に係る制御装置は、上記態様1から4のいずれか1態様において、上記起動手段が上記撮影部を起動させた場合に、上記ロボットに設けられた表示画面(73)に、上記撮影部により撮影される撮影画像を表示させる表示手段(表示部6)をさらに備えていてもよい。
上記の構成によれば、上記制御装置は、起動手段によって撮影部を起動された場合に、ロボットに設けられた表示画面に記撮影部により撮影される撮影画像を表示させる。このため、撮影機能を起動する際に、自動で表示画面への表示を開始することができる。それゆえ、表示画面への表示を開始する操作が不要となる。
本発明の態様6に係る制御装置は、上記態様1から5のいずれか1態様において、上記撮影部の機能を停止させる停止手段(撮影停止部52)をさらに備え、上記把持判定手段によって上記ユーザが上記ロボットを把持していないことが判定された場合に、上記停止手段は、上記起動手段により起動された上記撮影部の機能を停止させてもよい。
上記の構成によれば、上記制御装置は、把持判定手段によってユーザがロボットを把持していないことが判定された場合に、起動手段により起動された撮影部の機能を停止させる。このため、ユーザがロボットを手放すことにより、自動で撮影部の撮影機能を停止することができる。それゆえ、撮影機能を終了する際のユーザによる操作の煩雑化を防止することが可能となる。
本発明の態様7に係る制御装置は、上記態様6において、上記起動手段が上記撮影部を起動させた場合に、上記ロボットに設けられた表示画面に、上記撮影部により撮影される撮影画像を表示させる表示手段をさらに備え、上記停止手段が上記起動手段により起動された上記撮影部の機能を停止させた場合に、上記表示手段は、上記ロボットに設けられた表示画面に、上記撮影部により撮影される撮影画像を表示させることを停止してもよい。
上記の構成によれば、上記制御装置は、停止手段が上記起動手段により起動された撮影部の機能を停止させた場合に、上記ロボットに設けられた表示画面に、撮影部により撮影される撮影画像を表示させることを停止する。このため、撮影機能を停止する際に、自動で表示画面への表示を停止することができる。それゆえ、表示画面への表示を停止する操作が不要となる。
本発明の態様8に係る制御装置は、上記態様1から7のいずれか1態様において、上記ロボットに設けられた駆動部を駆動させることにより、上記撮影部の撮影方向を変更する撮影方向変更手段(撮影方向変更部53)を備え、上記トリガ判定手段により所定のトリガであると判定された上記検知内容が、追従開始を示すトリガであり、かつ、上記把持判定手段により上記ユーザが上記ロボットを把持していないことが判定された場合に、上記撮影方向変更手段は、上記撮影部により撮影される撮影対象の移動先に、上記撮影部の撮影方向を追従させてもよい。
上記の構成によれば、上記制御装置は、トリガ判定手段により所定のトリガであると判定された検知内容が、追従開始を示すトリガであり、かつ、把持判定手段によりユーザがロボットを把持していないことが判定された場合に、撮影部により撮影される撮影対象の移動先に、撮影部の撮影方向を追従させる。このため、動いている撮影対象を自動で捕捉しつつ、撮影することが可能となる。
本発明の態様9に係る制御装置は、上記態様8において、上記撮影方向変更手段は、上記把持判定手段により上記ユーザが上記ロボットを把持していることが判定された場合に、上記撮影部の撮影方向の追従を停止してもよい。
上記の構成によれば、上記制御装置は、把持判定手段によりユーザがロボットを把持していることが判定された場合に、撮影部の撮影方向の追従を停止する。このため、ユーザがロボットを把持した状態において、撮影部の撮影方向は撮影対象の動く先に変更されない。それゆえ、撮影する際に、ピントがぼけることを防止することが可能となる。
本発明の態様10に係るロボットは、上記態様1から9のいずれか1態様に記載の制御装置を備えている。
上記の構成によれば、上記態様1から9のいずれか1態様と同様の効果を奏する。
本発明の各態様に係る制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御装置が備える各手段として動作させることにより上記制御装置をコンピュータにて実現させる制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、撮影機能を備えたロボットに利用することができる。
1 制御装置
10 ロボット
21 トリガ判定部(トリガ判定手段)
22 把持判定部(把持判定手段)
3 姿勢制御部(姿勢制御手段)
4 時間計測部
51 撮影起動部(起動手段)
52 撮影停止部(停止手段)
53 撮影方向変更部(撮影方向変更手段)
6 表示部(表示手段)
60 検知部
71 駆動部
72 カメラ(撮影部)
73 表示画面

Claims (9)

  1. ロボットに設けられた撮影部の起動を制御するための制御装置であって、
    上記ロボットが検知した検知内容が所定のトリガであるか否かを判定するトリガ判定手段と、
    ユーザが上記ロボットを把持しているか否かを判定する把持判定手段と、
    上記撮影部を起動させる起動手段と、
    上記ロボットに設けられた駆動部を駆動させることにより、上記ロボットの姿勢を変化させる姿勢制御手段と、
    を備え、
    上記トリガ判定手段により所定のトリガであると判定された上記検知内容が、撮影開始を示すトリガであり、かつ、上記把持判定手段により上記ユーザが上記ロボットを把持していることが判定された場合に、上記起動手段は上記撮影部を起動させ、
    上記トリガ判定手段により所定のトリガであると判定された上記検知内容が撮影開始を示すトリガであり、かつ、上記把持判定手段により上記ユーザが上記ロボットを把持していないことが判定された場合に、上記姿勢制御手段は、上記ロボットの姿勢をユーザが把持し易い姿勢に変化させることを特徴とする制御装置。
  2. 上記トリガ判定手段により所定のトリガであると判定された上記検知内容が撮影停止を示すトリガであり、かつ、上記把持判定手段により上記ユーザが上記ロボットを把持していることが判定された場合に、上記姿勢制御手段は、上記ロボットの姿勢を自立可能な姿勢に変化させることを特徴とする請求項1に記載の制御装置。
  3. 上記姿勢制御手段が上記ロボットの姿勢をユーザが把持し易い姿勢を変化させた時刻からの時間が、所定時間を超えた場合、上記姿勢制御手段は、上記ロボットの姿勢を自立可能な姿勢に変化させることを特徴とする請求項1に記載の制御装置。
  4. ロボットに設けられた撮影部の起動を制御するための制御装置であって、
    上記ロボットが検知した検知内容が所定のトリガであるか否かを判定するトリガ判定手段と、
    ユーザが上記ロボットを把持しているか否かを判定する把持判定手段と、
    上記撮影部を起動させる起動手段と、
    上記撮影部の機能を停止させる停止手段と、を備え、
    上記トリガ判定手段により所定のトリガであると判定された上記検知内容が、撮影開始を示すトリガであり、かつ、上記把持判定手段により上記ユーザが上記ロボットを把持していることが判定された場合に、上記起動手段は上記撮影部を起動させ、
    上記把持判定手段によって上記ユーザが上記ロボットを把持していないことが判定された場合に、上記停止手段は、上記起動手段により起動された上記撮影部の機能を停止させることを特徴とする制御装置。
  5. 上記起動手段が上記撮影部を起動させた場合に、上記ロボットに設けられた表示画面に、上記撮影部により撮影される撮影画像を表示させる表示手段をさらに備え、
    上記停止手段が上記起動手段により起動された上記撮影部の機能を停止させた場合に、上記表示手段は、上記ロボットに設けられた表示画面に、上記撮影部により撮影される撮影画像を表示させることを停止することを特徴とする請求項に記載の制御装置。
  6. ロボットに設けられた撮影部の起動を制御するための制御装置であって、
    上記ロボットが検知した検知内容が所定のトリガであるか否かを判定するトリガ判定手段と、
    ユーザが上記ロボットを把持しているか否かを判定する把持判定手段と、
    上記撮影部を起動させる起動手段と、
    上記ロボットに設けられた駆動部を駆動させることにより、上記撮影部の撮影方向を変更する撮影方向変更手段と、を備え、
    上記トリガ判定手段により所定のトリガであると判定された上記検知内容が、撮影開始を示すトリガであり、かつ、上記把持判定手段により上記ユーザが上記ロボットを把持していることが判定された場合に、上記起動手段は上記撮影部を起動させ、
    上記トリガ判定手段により所定のトリガであると判定された上記検知内容が、追従開始を示すトリガであり、かつ、上記把持判定手段により上記ユーザが上記ロボットを把持していないことが判定された場合に、上記撮影方向変更手段は、上記撮影部により撮影される撮影対象の移動先に、上記撮影部の撮影方向を追従させることを特徴とする制御装置。
  7. 上記撮影方向変更手段は、上記把持判定手段により上記ユーザが上記ロボットを把持していることが判定された場合に、上記撮影部の撮影方向の追従を停止することを特徴とする請求項に記載の制御装置。
  8. 請求項1からのいずれか1項に記載の制御装置を備えたロボット。
  9. 請求項1からのいずれか1項に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
JP2014181763A 2014-09-05 2014-09-05 制御装置、ロボット、および制御プログラム Expired - Fee Related JP6494961B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014181763A JP6494961B2 (ja) 2014-09-05 2014-09-05 制御装置、ロボット、および制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014181763A JP6494961B2 (ja) 2014-09-05 2014-09-05 制御装置、ロボット、および制御プログラム

Publications (2)

Publication Number Publication Date
JP2016055361A JP2016055361A (ja) 2016-04-21
JP6494961B2 true JP6494961B2 (ja) 2019-04-03

Family

ID=55756920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014181763A Expired - Fee Related JP6494961B2 (ja) 2014-09-05 2014-09-05 制御装置、ロボット、および制御プログラム

Country Status (1)

Country Link
JP (1) JP6494961B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6560823B2 (ja) * 2016-05-20 2019-08-14 シャープ株式会社 ロボットおよびその制御方法、ならびに制御プログラム
TWI612810B (zh) 2016-09-06 2018-01-21 東友科技股份有限公司 影像擷取方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268112A (ja) * 2009-05-13 2010-11-25 Olympus Imaging Corp 撮像装置および撮影方法
JP5849403B2 (ja) * 2011-02-15 2016-01-27 セイコーエプソン株式会社 ロボットコントローラー、ロボット、及び、ロボットシステム
JP2013000875A (ja) * 2011-06-21 2013-01-07 Kazunari Kuroki 遠隔ガイダンスシステム

Also Published As

Publication number Publication date
JP2016055361A (ja) 2016-04-21

Similar Documents

Publication Publication Date Title
US11126275B2 (en) Method and apparatus for presenting panoramic photo in mobile terminal, and mobile terminal
US11348326B2 (en) Display control device, display control method, and recording medium
US11748968B2 (en) Target tracking method and system, readable storage medium, and mobile platform
US20150365590A1 (en) Imaging device, imaging method and program
EP3062286B1 (en) Optical distortion compensation
KR20140104753A (ko) 신체 부위 검출을 이용한 이미지 프리뷰
US20140240540A1 (en) Apparatus and method for processing an image in device
US11039072B2 (en) Display control apparatus, display control method, and computer program
US20210004005A1 (en) Image capture method and device, and machine-readable storage medium
JP2017069896A (ja) 電子機器
JP6494961B2 (ja) 制御装置、ロボット、および制御プログラム
KR20160088719A (ko) 이미지를 촬영하는 전자 장치 및 방법
WO2022061541A1 (zh) 控制方法、手持云台、***及计算机可读存储介质
US20150109527A1 (en) Wand for a wearable electronic device
KR101956694B1 (ko) 드론 컨트롤러 및 그 제어 방법
CN111741226A (zh) 控制相机与警示灯的方法、装置及车辆
JP2015139124A (ja) 画像生成装置、画像生成システム、画像生成方法、及びプログラム
JP2016111521A (ja) 情報処理装置、情報処理プログラムおよび情報処理方法
CN108881715A (zh) 拍摄模式的启用方法、装置、终端及存储介质
JP2018136449A (ja) 表示装置、表示方法、制御装置および車両
US20160202767A1 (en) Electronic device, method for controlling electronic device, and storage medium
JP2017058554A (ja) 撮像装置、制御方法及びプログラム
JP6370598B2 (ja) 撮像装置
JP2016076843A (ja) 撮像装置、撮像装置の制御方法、プログラム、記録媒体
JP2015056713A (ja) 撮像装置、及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190306

R150 Certificate of patent or registration of utility model

Ref document number: 6494961

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees