JP7359074B2 - 情報処理装置、情報処理方法、及びシステム - Google Patents

情報処理装置、情報処理方法、及びシステム Download PDF

Info

Publication number
JP7359074B2
JP7359074B2 JP2020073024A JP2020073024A JP7359074B2 JP 7359074 B2 JP7359074 B2 JP 7359074B2 JP 2020073024 A JP2020073024 A JP 2020073024A JP 2020073024 A JP2020073024 A JP 2020073024A JP 7359074 B2 JP7359074 B2 JP 7359074B2
Authority
JP
Japan
Prior art keywords
image
user
database
stored
posted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020073024A
Other languages
English (en)
Other versions
JP2021170721A (ja
Inventor
望美 金子
彩 小野寺
裕樹 辰本
剛史 武並
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020073024A priority Critical patent/JP7359074B2/ja
Priority to US17/223,663 priority patent/US20210327004A1/en
Priority to CN202110391873.XA priority patent/CN113542541A/zh
Publication of JP2021170721A publication Critical patent/JP2021170721A/ja
Application granted granted Critical
Publication of JP7359074B2 publication Critical patent/JP7359074B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)
  • Information Transfer Between Computers (AREA)

Description

本開示は、情報処理装置、情報処理方法、及びシステム関する。
撮影ポイントを特定するための位置情報、撮影目標（対象物）の方位、撮影を行う範囲、撮影枚数、及び、撮影間隔などの撮影条件を入力しておき、予め設定しておいた撮影地点に到達したら、自動的に撮影を実行する技術が知られている（例えば、特許文献１参照。）。
特開２００１－２５７９２０号公報
本開示の目的は、ユーザが好む画像を記憶することにある。
本開示の態様の一つは、
ソーシャルネットワーキングサービスにおいて、ユーザが投稿した画像を取得することと、
前記ユーザに関連付く車両に備わり前記車両の外部に向けて設置された撮影装置によって撮影された画像のうち、前記ユーザが投稿した画像の特徴と同じ特徴を有する第一の画像を記憶部に記憶させることと、
を実行する制御部を備える情報処理装置である。
本開示の態様の一つは、
コンピュータが、
ソーシャルネットワーキングサービスにおいて、ユーザが投稿した画像を取得することと、
前記ユーザに関連付く車両に備わり前記車両の外部に向けて設置された撮影装置によって撮影された画像のうち、前記ユーザが投稿した画像の特徴と同じ特徴を有する第一の画像を記憶部に記憶させることと、
を実行する情報処理方法である。
本開示の態様の一つは、
ソーシャルネットワーキングサービスを管理するサーバと、
ユーザに関連付く車両に備わる車載装置と、
を備えたシステムであって、
前記車載装置は、
前記ソーシャルネットワーキングサービスにおいて、前記ユーザが投稿した画像を前記サーバから取得することと、
前記車両に備わり前記車両の外部に向けて設置された撮影装置によって撮影された画像のうち、前記ユーザが投稿した画像の特徴と同じ特徴を有する第一の画像を記憶部に記憶させることと、
を実行する制御部を備える、
システムである。
また、本開示の他の態様は、上記の情報処理装置が実行するプログラム、または、このプログラムを非一時的に記憶した記憶媒体である。
本開示によれば、ユーザが好む画像を記憶することができる。
実施形態に係るシステムの概略構成を示す図である。 実施形態に係るシステムを構成する車載装置、ユーザ端末、及び、サーバのそれぞれの構成の一例を概略的に示すブロック図である。 車載装置の機能構成を例示した図である。 ユーザ端末の機能構成を例示した図である。 第１実施形態に係るシステムの全体のシーケンス図である。 第１実施形態に係る車載装置がサーバに画像をアップロードする処理のフローチャートである。 車載装置の機能構成を例示した図である。 第２実施形態に係るシステムの全体のシーケンス図である。 第２実施形態に係る車載装置がサーバに画像をアップロードする処理のフローチャートである。 第３実施形態に係るシステムの全体のシーケンス図である。 第３実施形態に係るユーザ端末がサーバに画像をアップロードする処理のフローチャートである。
本開示の態様の一つである情報処理装置が備える制御部は、ソーシャルネットワーキングサービス（ＳＮＳ）において、ユーザが投稿した画像を取得する。この画像は、静止画または動画の何れであってもよい。なお、ユーザが投稿した画像を取得する際に、投稿した画像に対して他のユーザがソーシャルボタンを押した数などを併せて取得することもできる。
また、制御部は、車両に備わり車両の外部を撮影する撮影装置によって撮影される画像であって、ユーザが投稿した画像の特徴と同じ特徴を有する画像を記憶部に記憶させる。撮影装置は、例えば、ドライブレコーダである。また、スマートフォンのカメラを車両の外部に向けた状態でスマートフォンを車両に固定することで、撮影装置として利用することもできる。ここで、一般的なドライブレコーダでは、記憶容量以上の画像を録画することができないため、古い画像は新しい画像に上書きされてしまう。そのため、古い画像の中にユーザの好みの風景等の画像が含まれていても、新しい画像に上書きされてしまう虞がある。また、一般的なドライブレコーダでは、ユーザの好みの風景を後から探すのに手間がかかる。これに対して、本開示に係る情報処理装置では、撮影装置によって撮影される画像であって、ユーザが投稿した画像の特徴と同じ特徴を有する画像を記憶部に記憶させる。このように、別途記憶部に記憶させておくことで、新しい画像で上書きされることを抑制できる。また、後から画像を検索する手間も省ける。記憶部に記憶させた画像は、例えばＳＮＳに投稿してもよい。ＳＮＳへの投稿は、情報処理装置が自動的に行ってもよく、ユーザが行ってもよい。また、ＳＮＳへ投稿する画像を、記憶された画像の中からユーザが選択してもよい。
画像の特徴は、特徴量としてもよい。特徴量は、例えば、色、テクスチャ、または、コンテキストに基づいて取得されてもよい。制御部は、画像から特徴量を取得し、例えば、特徴量のパターンマッチングによって画像を分類してもよい。また、画像を、例えば、山
、川、海、夕焼け、または、雨などの撮影対象ごとに分類してもよい。そして、ユーザが投稿した画像と同じ分類に属する画像を「ユーザが投稿した画像の特徴と同じ特徴を有する画像」としてもよい。例えば、ユーザがＳＮＳに海の画像を投稿している場合には、撮影装置によって海の画像が撮影された場合に、同じ特徴を有する画像と判断して記憶部に記憶してもよい。また、例えば、ユーザが投稿した画像に基づいた機械学習を行うことにより、撮影装置によって撮影される画像が、ユーザが投稿した画像の特徴と同じ特徴を有するか否か判断してもよい。例えば、ディープラーニングを使用してユーザがＳＮＳに投稿した画像を学習させてもよい。なお、学習方法はこれに限らない。そして、この学習結果を用いて、撮影装置によって撮影される画像が同じ特徴を有するか否か判断してもよい。
以下、図面に基づいて、本開示の実施の形態を説明する。以下の実施形態の構成は例示であり、本開示は実施形態の構成に限定されない。また、以下の実施形態は可能な限り組み合わせることができる。
＜第１実施形態＞
図１は、本実施形態に係るシステム１の概略構成を示す図である。システム１は、車両１０に搭載されるカメラで撮影される画像の中で、過去にユーザがＳＮＳに投稿した画像と同じ特徴を有する画像があった場合に、記憶部に記憶させておくシステムである。したがって、ユーザが自分で写真を撮らなくても、ユーザの好みの画像を車両１０が自動的に記憶してくれる。図１に示すユーザ端末２０は、ユーザがＳＮＳへ投稿すること、及び、ＳＮＳを閲覧することが可能な端末である。ユーザは、ＳＮＳに登録済みのユーザである。また、ユーザは、車両１０に乗るユーザ、または、車両１０を運転するユーザである。
図１の例では、システム１は、車載装置１００が搭載されている車両１０、ユーザ端末２０、及び、サーバ３０を含む。車載装置１００、ユーザ端末２０、及び、サーバ３０は、ネットワークＮ１によって相互に接続されている。なお、ネットワークＮ１は、例えば、インターネット等の世界規模の公衆通信網でありＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）やその他の通信網が採用されてもよい。また、ネットワークＮ１は、携帯電話等の電話通信網、Ｗｉ－Ｆｉ（登録商標）等の無線通信網を含んでもよい。また、車載装置１００とユーザ端末２０とは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信によって接続されていてもよい。なお、図１には、例示的に１つのユーザ端末２０を図示しているが、ユーザ端末２０は複数のユーザが夫々所持しており、ユーザ端末２０はユーザの数だけ存在する。また、図１には、例示的に１台の車両１０を図示しているが、車両１０も複数存在し得る。
図２に基づいて、車載装置１００、ユーザ端末２０、及び、サーバ３０のハードウェア構成について説明する。図２は、本実施形態に係るシステム１を構成する車載装置１００、ユーザ端末２０、及び、サーバ３０のそれぞれの構成の一例を概略的に示すブロック図である。
サーバ３０は、一般的なコンピュータの構成を有している。サーバ３０は、プロセッサ３１、主記憶部３２、補助記憶部３３、及び、通信部３４を有する。これらは、バスにより相互に接続される。サーバ３０は、例えば、ＳＮＳを管理するサーバ、または、ＳＮＳに関する情報を取得可能なサーバである。
プロセッサ３１は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等である。プロセッサ３１は、サーバ３０を制御し、様々な情報処理の演算を
行う。主記憶部３２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等である。補助記憶部３３は、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディ
スクドライブ（ＨＤＤ、Hard Disk Drive）、リムーバブルメディア等である。補助記憶
部３３には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル等が格納される。補助記憶部３３に格納されたプログラムをプロセッサ３１が主記憶部３２の作業領域にロードして実行し、このプログラムの実行を通じて各構成部等が制御される。これにより、所定の目的に合致した機能をサーバ３０が実現する。補助記憶部３３は、記憶部の一例である。主記憶部３２および補助記憶部３３は、コンピュータで読み取り可能な記録媒体である。なお、サーバ３０は、単一のコンピュータであってもよいし、複数台のコンピュータが連携したものであってもよい。また、補助記憶部３３に格納される情報は、主記憶部３２に格納されてもよい。また、主記憶部３２に格納される情報は、補助記憶部３３に格納されてもよい。
通信部３４は、ネットワークＮ１経由で車載装置１００、及び、ユーザ端末２０と通信を行う手段である。通信部３４は、例えば、ＬＡＮ（Local Area Network）インターフェースボード、無線通信のための無線通信回路である。ＬＡＮインターフェースボードや無線通信回路は、ネットワークＮ１に接続される。
なお、サーバ３０で実行される一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
次に、ユーザ端末２０について説明する。ユーザ端末２０は、例えば、スマートフォン、携帯電話、タブレット端末、個人情報端末、ウェアラブルコンピュータ（スマートウォッチ等）、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ＰＣ）といった小型のコンピュータである。ユーザ端末２０は、プロセッサ２１、主記憶部２２、補助記憶部２３、入力部２４、ディスプレイ２５、通信部２６、位置情報センサ２７、及び、カメラ２８を有する。これらは、バスにより相互に接続される。プロセッサ２１、主記憶部２２、補助記憶部２３については、サーバ３０のプロセッサ３１、主記憶部３２、補助記憶部３３と同様であるため、説明を省略する。
入力部２４は、ユーザが行った入力操作を受け付ける手段であり、例えば、タッチパネル、マウス、キーボード、または、押しボタン等である。ディスプレイ２５は、ユーザに対して情報を提示する手段であり、例えば、ＬＣＤ（Liquid Crystal Display）、または、ＥＬ（Electroluminescence）パネル等である。入力部２４及びディスプレイ２５は、
１つのタッチパネルディスプレイとして構成してもよい。通信部２６は、ユーザ端末２０をネットワークＮ１に接続するための通信手段である。通信部２６は、例えば、移動体通信サービス（例えば、５Ｇ（5th Generation）、４Ｇ（4th Generation）、３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）等の電話通信網）、Ｗｉ－Ｆｉ（登録商標
）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信網を利用して、ネットワークＮ１経由で他の装置（例えば車載装置１００、または、サーバ３０等）と通信を行うための回路である。
位置情報センサ２７は、ユーザ端末２０の位置情報（例えば緯度、経度）を取得する。位置情報センサ２７は、例えば、ＧＰＳ（Global Positioning System）受信部、無線Ｌ
ＡＮ通信部等である。カメラ２８は、例えばＣＣＤ（Charge Coupled Device）イメージ
センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサな
どの撮像素子を用いて撮影を行う。撮影により得られる画像は、静止画または動画の何れであってもよい。
次に、車両１０の車載装置１００について説明する。車載装置１００は、プロセッサ１１、主記憶部１２、補助記憶部１３、入力部１４、ディスプレイ１５、通信部１６、位置情報センサ１７、及び、カメラ１８を有する。これらは、バスにより相互に接続される。
プロセッサ１１、主記憶部１２、補助記憶部１３、入力部１４、ディスプレイ１５、通信部１６、位置情報センサ１７、及び、カメラ１８については、ユーザ端末２０のプロセッサ２１、主記憶部２２、補助記憶部２３、入力部２４、ディスプレイ２５、通信部２６、位置情報センサ２７、及び、カメラ２８と同様であるため、説明を省略する。なお、プロセッサ１１は、制御部の一例である。また、カメラ１８は、撮影装置の一例である。また、補助記憶部１３は、記憶部の一例である。カメラ１８は、画角が車両１０の周囲となるように、車両１０の外部に向けて設置されている。
次に、サーバ３０の機能について説明する。サーバ３０は、ＳＮＳへの投稿及びＳＮＳの閲覧を管理するサーバである。サーバ３０は、ネットワークＮ１を介して車載装置１００及びユーザ端末２０と通信可能である。サーバ３０は、補助記憶部３３に、各ユーザの投稿、及び、各ユーザが投稿をした位置等を記憶している。サーバ３０は、ユーザ端末２０からの要求に基づいて、ＳＮＳに関する情報を提供する。サーバ３０は、例えば、ユーザが画像を含む投稿をした場合に、ユーザに固有の識別子であるユーザアカウントと紐付けして画像を補助記憶部３３に記憶する。また、サーバ３０は、投稿に対して、他のユーザが肯定的な反応を示したことを補助記憶部３３に記憶する。例えば、サーバ３０は、投稿に対してソーシャルボタンが押された（例えば、いいねボタンが押された、または、星の数が入力された）ことを補助記憶部３３に記憶する。
車両１０の車載装置１００の機能について説明する。図３は、車載装置１００の機能構成を例示した図である。車載装置１００は、機能構成要素として、ＳＮＳ情報取得部１０１、特徴量取得部１０２、撮影部１０３、画像抽出部１０４、画像提供部１０５、投稿画像情報ＤＢ１１１、走行画像情報ＤＢ１１２、及び、抽出画像情報ＤＢ１１３を備える。車載装置１００のプロセッサ１１は、主記憶部１２上のコンピュータプログラムにより、ＳＮＳ情報取得部１０１、特徴量取得部１０２、撮影部１０３、画像抽出部１０４、及び、画像提供部１０５の処理を実行する。ただし、それらの処理の全部または一部がハードウェア回路により実行されてもよい。
投稿画像情報ＤＢ１１１、走行画像情報ＤＢ１１２、及び、抽出画像情報ＤＢ１１３は、プロセッサ１１によって実行されるデータベース管理システム（Ｄａｔａｂａｓｅ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ、ＤＢＭＳ）のプログラムが、補助記憶部３３に記憶されるデータを管理することで構築される。投稿画像情報ＤＢ１１１、走行画像情報ＤＢ１１２、及び、抽出画像情報ＤＢ１１３は、例えば、リレーショナルデータベースである。
なお、車載装置１００の各機能構成要素のいずれか、またはその処理の一部は、ネットワークＮ１に接続される他のコンピュータにより実行されてもよい。
ＳＮＳ情報取得部１０１は、サーバ３０からＳＮＳ情報を取得する。ここでいうＳＮＳ情報は、車両１０を運転しているユーザがＳＮＳに投稿した画像に関する情報である。ＳＮＳ情報取得部１０１は、例えば、ユーザ端末２０と近距離無線通信を行うことにより、車両１０を運転しているユーザのＳＮＳアカウントを特定する。ユーザのＳＮＳアカウントは、ユーザに対してサーバ３０が予め付与しており、例えば、ユーザ端末２０の補助記憶部２３に記憶されている。別法として、ユーザが、車載装置１００の入力部１４を介して、ＳＮＳアカウントを入力してもよい。そして、ＳＮＳ情報取得部１０１は、サーバ３０から、ユーザのＳＮＳアカウントに紐付けされている画像を取得する。この画像は、車両１０の運転者であるユーザが、ＳＮＳに投稿した画像である。ＳＮＳ情報取得部１０１は、取得したＳＮＳ情報を後述する投稿画像情報ＤＢ１１１に格納する。投稿画像情報ＤＢ１１１では、ユーザのＳＮＳアカウントが紐付けされた画像が格納されている。
特徴量取得部１０２は、例えば、投稿画像情報ＤＢ１１１に格納されている各画像の特徴量を取得する。特徴量は、例えば、色、テクスチャ、または、コンテキストに基づいて取得される。特徴量取得部１０２は、投稿画像情報ＤＢ１１１に格納されている各画像の特徴量を取得すると、投稿画像情報ＤＢ１１１に格納する。同様にして、特徴量取得部１０２は、後述する走行画像情報ＤＢ１１２に格納されている画像の特徴量を取得して、走行画像情報ＤＢ１１２に格納する。特徴量の取得方法については限定しない。
撮影部１０３は、カメラ１８により車両１０周辺の撮影を行い、画像を走行画像情報ＤＢ１１２に格納する。走行画像情報ＤＢ１１２には、画像およびその画像の特徴量が格納されている。画像は、静止画であってもよく、動画であってもよい。撮影部１０３は、例えば、車載装置１００とユーザ端末２０とで近距離無線通信が確立された後、車両１０の電源がＯＦＦになるまでの間、撮影を行ってもよいし、車両１０の走行時に限り（例えば、速度が０よりも大きいときに限り）、撮影を行ってもよい。
画像抽出部１０４は、投稿画像情報ＤＢ１１１に格納されている画像の特徴量と、走行画像情報ＤＢ１１２に格納されている画像の特徴量と、を比較することにより、走行画像情報ＤＢ１１２に格納されている画像の中から、ユーザがＳＮＳに投稿した画像と特徴が同じ画像を抽出する。特徴が同じ画像とは、例えば、類似しているといえる画像である。例えば、画像抽出部１０４は、例えば、パターンマッチングにより特徴が同じ画像を抽出してもよい。画像抽出部１０４が抽出した画像は、抽出画像情報ＤＢ１１３に格納される。抽出画像情報ＤＢ１１３に格納される画像には、特徴が同じと判断された投稿画像が紐付けされていてもよい。なお、走行画像情報ＤＢ１１２に格納されている画像であって、ユーザがＳＮＳに投稿した画像と類似していないと判断された画像は、画像抽出部１０４が消去してもよい。
画像提供部１０５は、抽出画像情報ＤＢ１１３に格納されている画像を、ユーザ端末２０またはサーバ３０に送信する。画像提供部１０５は、例えば、所定の時間毎、または、抽出画像情報ＤＢ１１３に画像が格納される毎に、画像をＳＮＳに投稿するためにサーバ３０に送信してもよい。また、画像提供部１０５は、ユーザ端末２０から画像の提供を依頼された場合に、抽出画像情報ＤＢ１１３に格納されている画像をユーザ端末２０へ送信してもよい。また、画像提供部１０５は、ユーザがユーザ端末２０を介して画像の送信を許可した場合に限り、画像をサーバ３０に提供してもよい。
次に、ユーザ端末２０の機能について説明する。図４は、ユーザ端末２０の機能構成を例示した図である。ユーザ端末２０は、機能構成要素として、ＳＮＳ利用部２０１、及び、画像取得部２０２を備える。ユーザ端末２０のプロセッサ２１は、主記憶部２２上のコンピュータプログラムにより、ＳＮＳ利用部２０１及び画像取得部２０２の処理を実行する。ただし、ＳＮＳ利用部２０１及び画像取得部２０２、またはそれらの処理の一部がハードウェア回路により実行されてもよい。
ＳＮＳ利用部２０１は、ディスプレイ２５に操作画面を表示させ、ユーザによる入力部２４への入力に応じた情報をサーバ３０に送信する。例えば、ＳＮＳ利用部２０１は、タッチパネルディスプレイにＳＮＳの操作画面等を表示し、当該操作画面等においてユーザが何らかの入力を行った場合に、その入力に応じた情報をサーバ３０に送信する。ユーザは、例えば、カメラ２８によって撮影した画像の投稿を行うことができる。
また、ＳＮＳ利用部２０１は、ＳＮＳ上で公開されている画像をディスプレイ２５に表示させることができる。ＳＮＳ利用部２０１は、画像をディスプレイ２５に表示するように、ユーザから所定の入力があった場合に、サーバ３０へ画像の提供を要求する。そして、その要求に応じてサーバ３０が画像を送信すると、ＳＮＳ利用部２０１は、画像をディ
スプレイ２５に表示させる。
画像取得部２０２は、車載装置１００の画像提供部１０５から画像を取得する。取得した画像は、ユーザが選択可能なように、ディスプレイ２５に表示させることもできる。例えば、ユーザが、ディスプレイ２５に表示されている画像をタップすると、その画像がＳＮＳの投稿としてサーバ３０に送信されてもよい。
次に、システム１の全体の処理について説明する。図５は、システム１の全体のシーケンス図である。図５において、ユーザがユーザ端末２０を所持して車両１０に乗ると、ユーザ端末２０と車載装置１００とが、例えば近距離無線通信を行う（Ｓ１１）。これにより、ユーザ端末２０から車載装置１００へ、ユーザのＳＮＳアカウント等の情報が送信される。次に、車載装置１００において画像送信依頼が生成される（Ｓ１２）。画像送信依頼は、車載装置１００がサーバ３０への依頼に関する情報であって、ユーザが投稿した画像を送信するように依頼するための情報である。画像送信依頼には、例えば、ユーザのＳＮＳアカウント、及び、車載装置１００に固有の識別子（以下、車両ＩＤともいう。）が含まれる。画像送信依頼が生成されると、車載装置１００からサーバ３０へ画像送信依頼が送信される（Ｓ１３）。
画像送信依頼を受信したサーバ３０は、ユーザの投稿した画像を収集し（Ｓ１４）、車載装置１００へ送信する（Ｓ１５）。サーバ３０から画像を受信した車載装置１００は、各画像の特徴量を取得して補助記憶部１３（投稿画像情報ＤＢ１１１）に記憶させる（Ｓ１６）。また、車載装置１００は、カメラ１８による撮影を行う（Ｓ１７）。車載装置１００は、撮影した画像を補助記憶部１３に記憶すると共に、その画像の特徴量を取得して、補助記憶部１３（走行画像情報ＤＢ１１２）に記憶させる（Ｓ１８）。サーバ３０は、投稿画像情報ＤＢ１１１に記憶されている各画像の特徴量と、走行画像情報ＤＢ１１２に記憶されている各画像の特徴量とを比較する。サーバ３０は、例えば、パターンマッチングによって、走行画像情報ＤＢ１１２に記憶されている画像の中から、投稿画像情報ＤＢ１１１に記憶されている画像と同じ特徴を有する画像を抽出する（Ｓ１９）。Ｓ１９では、車載装置１００により抽出された画像（第一の画像）が、抽出画像情報ＤＢ１１３に記憶される。そして、車載装置１００により抽出された画像は、車載装置１００からサーバ３０へ送信される（Ｓ２０）。この画像を受信したサーバ３０は、ユーザの投稿としてこの画像をＳＮＳで公開する（Ｓ２１）。
次に、車載装置１００がサーバ３０に画像をアップロードする処理について説明する。図６は、本実施形態に係る車載装置１００がサーバ３０に画像をアップロードする処理のフローチャートである。図６に示した提供処理は、車載装置１００において、所定の時間毎に繰り返し実行される。なお、サーバ３０の補助記憶部３３には、ユーザから投稿された画像が格納されているものとして説明する。
ステップＳ１０１では、ＳＮＳ情報取得部１０１が、ユーザ端末２０との近距離無線通信が確立しているか否か判定する。ステップＳ１０１で肯定判定された場合にはステップＳ１０２へ進み、否定判定された場合には本ルーチンを終了させる。ステップＳ１０２においてＳＮＳ情報取得部１０１は、ユーザ端末２０からユーザのＳＮＳアカウントを取得する。ステップＳ１０３では、ＳＮＳ情報取得部１０１は、サーバ３０に対して、画像の送信を依頼するための情報である画像送信依頼を生成する。画像送信依頼には、ユーザのＳＮＳアカウント及び車両ＩＤが含まれる。そして、ステップＳ１０４では、ＳＮＳ情報取得部１０１が、サーバ３０へ画像送信依頼を送信する。
ステップＳ１０５では、ＳＮＳ情報取得部１０１が、サーバ３０から画像を受信したか否か判定する。ステップＳ１０５で肯定判定された場合には、ＳＮＳ情報取得部１０１が
、ユーザアカウントに紐付けされた画像を投稿画像情報ＤＢ１１１に格納して、ステップＳ１０６へ進む。一方、ステップＳ１０５で否定判定された場合には、ステップＳ１０５の処理を再度実行する。
ステップＳ１０６では、特徴量取得部１０２が、投稿画像情報ＤＢ１１１に格納されている画像から特徴量を取得する。特徴量の取得方法については限定しない。特徴量取得部１０２は、取得した特徴量を投稿画像情報ＤＢ１１１に格納する。ステップＳ１０７では、撮影部１０３が撮影を行う。例えば、所定時間毎に静止画を撮影してもよく、動画を撮影してもよい。撮影部１０３は、画像を走行画像情報ＤＢ１１２に格納する。ステップＳ１０８では、特徴量取得部１０２が、走行画像情報ＤＢ１１２に格納されている画像から特徴量を取得する。取得した特徴量は、走行画像情報ＤＢ１１２に格納される。走行画像情報ＤＢ１１２に動画が格納されている場合には、例えば、所定時間毎に動画から静止画を切り出して特徴量を取得してもよい。そして、ステップＳ１０９では、画像抽出部１０４が、投稿画像情報ＤＢ１１１に格納されている特徴量（ユーザがＳＮＳに投稿した画像の特徴量）と、走行画像情報ＤＢ１１２に格納されている特徴量（撮影部１０３によって撮影された画像の特徴量）とを比較する。そして、ステップＳ１１０において、画像抽出部１０４が、特徴量が所定の一致度合いの画像（撮影部１０３によって撮影された画像）を抽出画像情報ＤＢ１１３に格納することで、抽出画像情報ＤＢ１１３を更新する。このようにして、抽出画像情報ＤＢ１１３には、ユーザがＳＮＳにアップロードした画像と類似する画像が格納される。すなわち、ユーザがＳＮＳにアップロードすることを望む可能性の高い画像が抽出画像情報ＤＢ１１３に格納される。
以上説明したように本実施形態によれば、ＳＮＳにユーザが投稿した画像に基づいてユーザの好みの景色等を自動的に撮影及び保存することができる。また、ユーザが運転中であっても、車載装置１００により撮影が可能であるため、ユーザが好む景色をより確実に撮影することができる。また、ユーザが好む景色等が記憶されるため、後で検索する手間が省ける。
なお、上記説明では、例えば、パターンマッチングによって画像が類似しているか否か判断しているが、これに代えて、例えば、ユーザの好みの画像であるか否かを機械学習に基づいて判断してもよい。例えば、ユーザがＳＮＳに投稿した画像に基づいてディープラーニングによる学習を行い、車載装置１００によって撮影された画像が、ＳＮＳに投稿した画像と特徴が同じである否か判断してもよい。
＜第２実施形態＞
本実施形態では、ユーザがＳＮＳに投稿した画像のうち、他のユーザから肯定的な反応が得られた画像に基づいて、車載装置１００が記憶する画像を選定する。肯定的な反応を得られたとは、例えば、他のユーザによってソーシャルボタンが押されたことをいう。これには、例えば、他のユーザによって「いいね」ボタンが押された、星の数が入力された、または、点数が入力された等が含まれる。例えば、所定数以上のソーシャルボタンが押された画像と特徴が同じ画像を車載装置１００が記憶してもよい。所定数は、人気があるものとして扱うことのできる数としてもよい。所定数は、ユーザが決めてもよく、システム１の管理者等が決めてもよい。
車載装置１００は、例えば、ユーザがＳＮＳに投稿した画像を入力データとし、所定数以上の肯定的な反応を得られた画像（以下、人気のある画像、または、人気画像ともいう。）を正解データとして、機械学習を行う。なお、学習は教師あり学習に限らない。また、学習に限らず、例えば、第１実施形態で説明したパターンマッチングを用いて人気のある画像と同じ特徴を有する画像を抽出してもよい。
ハードウェアの構成については、第１実施形態と同じため説明を省略する。また、ユーザ端末２０の機能についても、第１実施形態と同じため、説明を省略する。次に、本実施形態におけるサーバ３０の機能について説明する。サーバ３０は、第１実施形態で説明した機能の他に、ユーザの投稿に対する他のユーザからの肯定的な反応を記憶する機能を有する。例えば、サーバ３０は、投稿された画像に対して、ＳＮＳ上でソーシャルボタンが押された数を記憶している。
次に、車両１０の車載装置１００の機能について説明する。図７は、車載装置１００の機能構成を例示した図である。車載装置１００は、機能構成要素として、ＳＮＳ情報取得部１０１、人気画像学習部１０６、撮影部１０３、人気画像抽出部１０７、人気画像提供部１０８、投稿画像情報ＤＢ１１１、走行画像情報ＤＢ１１２、抽出画像情報ＤＢ１１３、及び、モデル記憶部１１５を備える。車載装置１００のプロセッサ１１は、主記憶部１２上のコンピュータプログラムにより、ＳＮＳ情報取得部１０１、人気画像学習部１０６、撮影部１０３、人気画像抽出部１０７、人気画像提供部１０８の処理を実行する。ただし、それらの処理の全部または一部がハードウェア回路により実行されてもよい。投稿画像情報ＤＢ１１１、走行画像情報ＤＢ１１２、及び、抽出画像情報ＤＢ１１３については、第１実施形態と同じため説明を省略する。
モデル記憶部１１５は、学習モデルを記憶する。学習モデルは、ユーザによって投稿された画像と、他のユーザによって所定数以上のソーシャルボタンが押された画像と、に基づいて生成され、画像の入力に対して、ソーシャルボタンが押された数が所定数以上であるか否かを出力する機械学習モデルである。人気画像学習部１０６が、機械学習モデルの学習を行うフェーズを実行し、当該機械学習モデルを利用して、人気画像抽出部１０７が、人気画像の抽出を行うフェーズを実行する。
なお、車載装置１００の各機能構成要素のいずれか、またはその処理の一部は、ネットワークＮ１に接続される他のコンピュータにより実行されてもよい。
ＳＮＳ情報取得部１０１は、サーバ３０からＳＮＳ情報を取得する。ここでいうＳＮＳ情報は、車両１０を運転しているユーザがＳＮＳに投稿した情報であって、画像を含む情報である。また、ＳＮＳ情報には、画像に紐付けされているソーシャルボタンが押された数を含む。ＳＮＳ情報取得部１０１は、取得したＳＮＳ情報を後述する投稿画像情報ＤＢ１１１に格納する。
人気画像学習部１０６は、投稿画像情報ＤＢ１１１に格納されているユーザがＳＮＳに投稿した画像を入力データとし、人気がある画像を正解データとして、機械学習を行う。生成される学習モデルは、画像を入力すると、ソーシャルボタンが押される数が所定数以上である否かを出力する学習モデルである。人気画像学習部１０６は、学習モデルを生成すると、モデル記憶部１１５に格納する。なお、人気画像学習部１０６による学習は上記に限らない。撮影部１０３によって撮影された画像の中から、人気画像と特徴が一致する画像を抽出できれば、他の学習方法を採用することもできる。また、学習モデルは、画像の入力に対して、ソーシャルボタンが押される数を出力する学習モデルであってもよい。
撮影部１０３は、カメラ１８により車両１０周辺の撮影を行い、画像を走行画像情報ＤＢ１１２に格納する。人気画像抽出部１０７は、モデル記憶部１１５に記憶されている学習モデルと、走行画像情報ＤＢ１１２に格納されている画像と、に基づいて、走行画像情報ＤＢ１１２に格納されている画像の中から、人気画像と特徴が同じ画像を抽出する。人気画像抽出部１０７が抽出した画像は、抽出画像情報ＤＢ１１３に格納される。なお、人気画像抽出部１０７によって人気画像と同じ特徴を有していないと判断された画像は、人気画像抽出部１０７が消去してもよい。
人気画像提供部１０８は、抽出画像情報ＤＢ１１３に格納されている画像を、ユーザ端末２０またはサーバ３０に送信する。人気画像提供部１０８は、例えば、所定の時間毎、または、抽出画像情報ＤＢ１１３に画像が格納される毎に、画像をＳＮＳに投稿するためにサーバ３０に送信してもよい。また、人気画像提供部１０８は、ユーザ端末２０から画像の提供を依頼された場合に、抽出画像情報ＤＢ１１３に格納されている画像をユーザ端末２０へ送信してもよい。また、人気画像提供部１０８は、ユーザが許可した場合に限り、画像をサーバに提供してもよい。
次に、システム１の全体の処理について説明する。図８は、システム１の全体のシーケンス図である。図８において、図５と同じ処理には同じ符号を付している。図８において、ユーザがユーザ端末２０を所持して車両１０に乗ると、ユーザ端末２０と車載装置１００とが近距離無線通信を行う（Ｓ１１）。これにより、ユーザ端末２０から車載装置１００へ、ユーザのＳＮＳアカウント等の情報が送信される。次に、車載装置１００において画像送信依頼が生成される（Ｓ３１）。画像送信依頼は、車載装置１００がサーバ３０への依頼に関する情報であって、ユーザが投稿した画像およびその画像に紐付けされたソーシャルボタンが押された数を送信するように依頼するための情報である。画像送信依頼には、例えば、ユーザのＳＮＳアカウント、及び、車両ＩＤが含まれる。画像送信依頼が生成されると、車載装置１００からサーバ３０へ画像送信依頼が送信される（Ｓ３２）。
画像送信依頼を受信したサーバ３０は、ユーザの投稿した画像を収集し（Ｓ３３）、画像に紐付けされたソーシャルボタンが押された数と共に、車載装置１００へ送信する（Ｓ３４）。サーバ３０から画像を受信した車載装置１００は、各画像、及び、人気画像に基づいて学習モデルを生成し、モデル記憶部１１５に記憶させる（Ｓ３５）。また、車載装置１００は、カメラ１８による撮影を行う（Ｓ１７）。車載装置１００は、撮影した画像を補助記憶部１３（走行画像情報ＤＢ１１２）に記憶すると共に、その画像と、学習モデルとに基づいて、人気画像と同じ特徴を有する画像を抽出する（Ｓ３６）。Ｓ３６では、車載装置１００により抽出された画像が、抽出画像情報ＤＢ１１３に記憶される。そして、車載装置１００により抽出された画像は、車載装置１００からサーバ３０へ送信される（Ｓ３７）。この画像を受信したサーバ３０は、ユーザの投稿としてこの画像をＳＮＳで公開する（Ｓ２１）。
次に、車載装置１００がサーバ３０に画像をアップロードする処理について説明する。図９は、本実施形態に係る車載装置１００がサーバ３０に画像をアップロードする処理のフローチャートである。図９に示した提供処理は、車載装置１００において、所定の時間毎に繰り返し実行される。なお、サーバ３０の補助記憶部３３には、ユーザから投稿された画像が格納されているものとして説明する。図６に示した処理と同じ処理が実行されるステップについては、同じ符号を付して説明を省略する。
図９に示したフローチャートでは、ステップＳ１０２の処理の後に、ステップＳ２０１の処理が実行される。ステップＳ２０１では、ＳＮＳ情報取得部１０１が、サーバ３０に対して画像の送信を依頼するための情報である画像送信依頼を生成する。画像送信依頼には、ユーザのＳＮＳアカウント及び車両ＩＤが含まれる。この画像送信依頼には、画像に紐付けされているソーシャルボタンが押された数の送信の依頼も含まれる。そして、ステップＳ２０２では、ＳＮＳ情報取得部１０１が、サーバ３０へ画像送信依頼を送信する。
ステップＳ２０３では、ＳＮＳ情報取得部１０１が、サーバ３０から画像を受信したか否か判定する。ステップＳ２０３で肯定判定された場合には、ＳＮＳ情報取得部１０１が、受信した画像をソーシャルボタンが押された数と紐付けして投稿画像情報ＤＢ１１１に格納して、ステップＳ２０４へ進む。一方、ステップＳ２０３で否定判定された場合には
、ステップＳ２０３の処理を再度実行する。
ステップＳ２０４では、人気画像学習部１０６が、投稿画像情報ＤＢ１１１に格納されている画像から学習モデルを生成する。学習方法については限定しない。人気画像学習部１０６は、生成した学習モデルをモデル記憶部１１５に格納する。ステップＳ１０７では、撮影部１０３が撮影を行う。ステップＳ２０５では、人気画像抽出部１０７が、走行画像情報ＤＢ１１２に格納されている画像と、モデル記憶部１１５に格納されている学習モデルとから、人気画像と特徴が同じ画像を抽出する。人気画像抽出部１０７は、抽出した画像を抽出画像情報ＤＢ１１３に格納することで、抽出画像情報ＤＢ１１３を更新する。このようにして、抽出画像情報ＤＢ１１３は、ユーザがＳＮＳにアップロードした画像のうち、人気画像と特徴が同じ画像を格納している。すなわち、ユーザがＳＮＳにアップロードすることを望む可能性の高い画像が抽出画像情報ＤＢ１１３に格納されている。
以上説明したように本実施形態によれば、ＳＮＳにユーザがアップロードした画像のうち他のユーザから人気のある画像に基づいて、景色等を自動的に撮影及び保存することができる。
なお、上記説明では、例えば、ユーザがＳＮＳに投稿した画像と、人気画像とに基づいて学習モデルを生成しているが、これに代えて、人気画像のみから学習モデルを生成してもよい。また、第１実施形態と同様にして、人気画像の特徴量を取得して、パターンマッチングにより人気画像と特徴の同じ画像を抽出してもよい。
＜第３実施形態＞
第１実施形態及び第２実施形態では、主に、車載装置１００からサーバ３０へ画像が自動的に送信される例について説明した。一方、本実施形態では、車載装置１００からユーザ端末２０へ画像が送信され、ユーザ端末２０においてユーザが選択した画像がサーバ３０へ送られる。ハードウェアの構成については上記実施形態と同じため説明を省略する。また、車載装置１００が画像を抽出画像情報ＤＢ１１３に格納するまでのシステム１の処理は上記実施形態と同じである。
システム１の全体の処理について説明する。図１０は、システム１の全体のシーケンス図である。図１０において、図５のＳ１８または図８のＳ３７までは同じ処理が行われるため、図示及び説明を省略している。図１０において、ユーザがユーザ端末２０に画像の閲覧を要求するための依頼をする旨の入力を行うと、ユーザ端末２０が、画像閲覧要求を生成する（Ｓ４１）。例えば、ユーザ端末２０に画像閲覧要求を生成するためのアイコンが表示されており、このアイコンをユーザがタップした場合に、画像取得部２０２によって画像閲覧要求が生成される。画像閲覧要求は、車載装置１００の抽出画像情報ＤＢ１１３に格納されている画像の送信を依頼するための情報である。生成された画像閲覧要求は、車載装置１００へ送信される（Ｓ４２）。画像閲覧要求を受信した車載装置１００は、抽出画像情報ＤＢ１１３に格納されている画像をユーザ端末２０へ送信する（Ｓ４３）。
車載装置１００から画像を受信したユーザ端末２０では、例えば、ディスプレイ２５に画像のサムネイルが表示され、ユーザがそのサムネイルをタップすることで、ユーザが画像を選定する（Ｓ４４）。選定される画像は、ユーザがＳＮＳで公開することを望む画像である。選択された画像は、サーバ３０へ送信され（Ｓ４５）、サーバ３０によってＳＮＳ上で公開される（Ｓ２１）。
図１１は、本実施形態に係るユーザ端末２０がサーバ３０に画像をアップロードする処理のフローチャートである。図１１に示した提供処理は、ユーザ端末２０において、所定の時間毎に繰り返し実行される。なお、車載装置１００の抽出画像情報ＤＢ１１３には、
画像が格納されているものとして説明する。
ステップＳ３０１では、画像取得部２０２が、ユーザがディスプレイ２５に表示されている所定のアイコンをタップしたか否か判定する。所定のアイコンは、ユーザがユーザ端末２０に画像閲覧要求を生成させるときに、ユーザがタップするアイコンである。所定のアイコンは、ユーザが画像を選択したサーバ３０へ送信するときにユーザによってタップされる。ステップＳ３０１で肯定判定されるとステップＳ３０２へ進み、否定判定されると本ルーチンを終了させる。ステップＳ３０２では、画像取得部２０２が、画像閲覧要求を生成する。そして、ステップＳ３０３では、画像取得部２０２が、車載装置１００へ画像閲覧要求を送信する。
ステップＳ３０４では、画像取得部２０２が、車載装置１００から画像を受信したか否か判定する。ステップＳ３０４で肯定判定された場合にはステップＳ３０５へ進み、否定判定された場合にはステップＳ３０４の処理を再度実行する。ステップＳ３０５では、画像取得部２０２が、受信した画像をディスプレイ２５に表示させる。画像取得部２０２は、例えば、受信した画像を縮小した画像であるサムネイルをディスプレイ２５に表示させてもよい。さらに、画像取得部２０２は、例えば、ＳＮＳに投稿する画像のサムネイルをタップすることを促す表示をディスプレイ２５に表示させる。このときに、例えば、ユーザが選択した画像がチェックされるようにラジオボタンを表示させてもよい。
ステップＳ３０６では、画像取得部２０２が、ユーザが選択した画像（第二の画像）に関する情報を取得し、ステップＳ３０７では、画像取得部２０２が、ユーザが選択した画像をサーバ３０に送信する。以上のようにしてユーザ端末２０からサーバ３０へ送信された画像は、サーバ３０によってＳＮＳ上で公開される。
以上説明したように本実施形態によれば、車載装置１００で記憶された画像の中から、ＳＮＳで公開する画像をユーザが選択することができる。これにより、ユーザが好む画像に限りＳＮＳに公開することができる。
なお、本実施形態では、ユーザがユーザ端末２０のディスプレイ２５に表示されている画像の中からＳＮＳに投稿する画像を選択しているが、これに代えて、車載装置１００がディスプレイ１５に画像を表示し、ユーザが車載装置１００のディスプレイ１５に表示されている画像の中からＳＮＳに投稿する画像を選択してもよい。この場合、車載装置１００は、例えば、ユーザの操作に基づいて、記憶されている画像のサムネイルをディスプレイ１５に表示させ、ユーザがサムネイルをタップすることで、ＳＮＳに投稿する画像を選択してもよい。そして、ユーザが選択した画像を車載装置１００からサーバ３０へ送信してもよい。
＜その他の実施形態＞
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施し得る。
本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成（サーバ構成）によって実現するかは柔軟に変更可能である。例えば、サーバ３０は、ＳＮＳを管理するサーバと、洗車機情報を管理するサーバとから構成されていて
もよい。
上記実施形態では、車載装置１００が情報処理装置として機能する例について説明したが、これに限らず、サーバ３０が情報処理装置として機能してもよく、または、ユーザ端末２０が情報処理装置として機能してもよい。また、サーバ３０、車載装置１００、及び、ユーザ端末２０が、連携して情報処理装置として機能してもよい。
また、特徴量取得部１０２は特徴量のパターンマッチングによって画像を分類してもよい。例えば、各画像を、山、川、若しくは海などの風景、または、夕焼け若しくは雨などの状況に応じて分類してもよい。そして、例えば、撮影部１０３によって撮影された画像の中から、ユーザが好む風景に分類される画像を、補助記憶部１３に記憶させてもよい。
本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤディスク、ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。
１ システム
１０ 車両
１１ プロセッサ
１３ 補助記憶部
１８ カメラ
２０ ユーザ端末
３０ サーバ
１００ 車載装置
１０１ ＳＮＳ情報取得部
１０２ 特徴量取得部
１０３ 撮影部
１０４ 画像抽出部
１０５ 画像提供部

Claims (11)

  1. ユーザに関連付く車両に備わる情報処理装置であって、
    記憶部と、
    前記ユーザがソーシャルネットワーキングサービスを利用するときに用いる端末と近距離無線通信を行ったときに、前記端末から前記ユーザの前記ソーシャルネットワーキングサービスのアカウントを取得することと、
    前記アカウントの取得に応答して、前記アカウントを含む画像送信依頼を生成して、前記ソーシャルネットワーキングサービスを管理するサーバに送信することと、
    前記画像送信依頼を受信した前記サーバから、前記ソーシャルネットワーキングサービスにおいて、前記ユーザが投稿した画像であって、前記アカウントに紐づけられた画像を取得して、前記記憶部の第一のデータベースに記憶させることと、
    前記端末との前記近距離無線通信が確立された後に、前記車両に備わり前記車両の外部に向けて設置された撮影装置によって撮影された画像を取得して、前記記憶部の第二のデータベースに記憶させることと、
    前記第一のデータベースに記憶されている前記ユーザが投稿した画像の特徴量と、前記第二のデータベースに記憶されている前記撮影装置によって撮影された画像の特徴量とを比較することにより、前記第二のデータベースに記憶されている前記撮影装置によって撮影された画像のうち、前記第一のデータベースに記憶されている前記ユーザが投稿した画像の特徴と同じ特徴を有する第一の画像を抽出して、前記記憶部の第三のデータベースに記憶させることと、
    前記端末から画像閲覧要求を受信することと、
    前記画像閲覧要求の受信に応答して、前記第三のデータベースに記憶されている前記第一の画像を、前記端末に送信することと、
    を実行する制御部と、を備える情報処理装置。
  2. 前記制御部は、
    前記画像送信依頼を受信した前記サーバから、前記ソーシャルネットワーキングサービスにおいて、前記ユーザが投稿した画像に対してソーシャルボタンが押された数に関する情報を更に取得し、
    前記第二のデータベースに記憶されている前記撮影装置によって撮影された画像のうち、前記第一のデータベースに記憶されている前記ユーザが投稿した画像のうちの所定数以
    上の前記ソーシャルボタンが押された画像と同じ特徴を有する画像を前記第一の画像として抽出して、前記第三のデータベースに記憶させる、
    請求項１に記載の情報処理装置。
  3. 前記制御部は、前記第一のデータベースに記憶されている前記ユーザが投稿した画像と、前記ユーザが投稿した画像に対して前記ソーシャルボタンが押された数と、に基づいて、前記第一のデータベースに記憶されている前記ユーザが投稿した画像の入力に対して、前記ソーシャルボタンが押される数が所定数以上であるか否かを出力する学習モデルを生成する、
    請求項２に記載の情報処理装置。
  4. ユーザに関連付く車両に備わり、記憶部を備えるコンピュータが、
    前記ユーザがソーシャルネットワーキングサービスを利用するときに用いる端末と近距離無線通信を行ったときに、前記端末から前記ユーザの前記ソーシャルネットワーキングサービスのアカウントを取得することと、
    前記アカウントの取得に応答して、前記アカウントを含む画像送信依頼を生成して、前記ソーシャルネットワーキングサービスを管理するサーバに送信することと、
    前記画像送信依頼を受信した前記サーバから、前記ソーシャルネットワーキングサービスにおいて、前記ユーザが投稿した画像であって、前記アカウントに紐づけられた画像を取得して、前記記憶部の第一のデータベースに記憶させることと、
    前記端末との前記近距離無線通信が確立された後に、前記車両に備わり前記車両の外部に向けて設置された撮影装置によって撮影された画像を取得して、前記記憶部の第二のデータベースに記憶させることと、
    前記第一のデータベースに記憶されている前記ユーザが投稿した画像の特徴量と、前記第二のデータベースに記憶されている前記撮影装置によって撮影された画像の特徴量とを比較することにより、前記第二のデータベースに記憶されている前記撮影装置によって撮影された画像のうち、前記第一のデータベースに記憶されている前記ユーザが投稿した画像の特徴と同じ特徴を有する第一の画像を抽出して、前記記憶部の第三のデータベースに記憶させることと、
    前記端末から画像閲覧要求を受信することと、
    前記画像閲覧要求の受信に応答して、前記第三のデータベースに記憶されている前記第一の画像を、前記端末に送信することと、
    を実行する情報処理方法。
  5. コンピュータが、
    前記画像送信依頼を受信した前記サーバから、前記ソーシャルネットワーキングサービスにおいて、前記ユーザが投稿した画像に対してソーシャルボタンが押された数に関する情報を更に取得し、
    前記第二のデータベースに記憶されている前記撮影装置によって撮影された画像のうち、前記第一のデータベースに記憶されている前記ユーザが投稿した画像のうちの所定数以上の前記ソーシャルボタンが押された画像と同じ特徴を有する画像を前記第一の画像として抽出して、前記第三のデータベースに記憶させる、
    請求項４に記載の情報処理方法。
  6. コンピュータが、前記第一のデータベースに記憶されている前記ユーザが投稿した画像と、前記ユーザが投稿した画像に対して前記ソーシャルボタンが押された数と、に基づいて、前記第一のデータベースに記憶されている前記ユーザが投稿した画像の入力に対して、前記ソーシャルボタンが押される数が所定数以上であるか否かを出力する学習モデルを生成する、
    請求項５に記載の情報処理方法。
  7. ソーシャルネットワーキングサービスを管理するサーバと、
    ユーザが前記ソーシャルネットワーキングサービスを利用するときに用いる端末と、
    前記ユーザに関連付く車両に備わる車載装置と、
    を備えたシステムであって、
    前記車載装置は、
    記憶部と、
    前記ユーザがソーシャルネットワーキングサービスを利用するときに用いる端末と近距離無線通信を行ったときに、前記端末から前記ユーザの前記ソーシャルネットワーキングサービスのアカウントを取得することと、
    前記アカウントの取得に応答して、前記アカウントを含む画像送信依頼を生成して、前記ソーシャルネットワーキングサービスを管理するサーバに送信することと、
    前記画像送信依頼を受信した前記サーバから、前記ソーシャルネットワーキングサービスにおいて、前記ユーザが投稿した画像であって、前記アカウントに紐づけられた画像を取得して、前記記憶部の第一のデータベースに記憶させることと、
    前記端末との前記近距離無線通信が確立された後に、前記車両に備わり前記車両の外部に向けて設置された撮影装置によって撮影された画像を取得して、前記記憶部の第二のデータベースに記憶させることと、
    前記第一のデータベースに記憶されている前記ユーザが投稿した画像の特徴量と、前記第二のデータベースに記憶されている前記撮影装置によって撮影された画像の特徴量とを比較することにより、前記第二のデータベースに記憶されている前記撮影装置によって撮影された画像のうち、前記第一のデータベースに記憶されている前記ユーザが投稿した画像の特徴と同じ特徴を有する第一の画像を抽出して、前記記憶部の第三のデータベースに記憶させることと、
    前記端末から画像閲覧要求を受信することと、
    前記画像閲覧要求の受信に応答して、前記第三のデータベースに記憶されている前記第一の画像を、前記端末に送信することと、
    を実行する制御部と、を備える、
    システム。
  8. 前記端末は、
    前記車載装置から受信した前記第一の画像を表示することと、
    前記表示した前記第一の画像のうち、前記ユーザが選択した第二の画像を取得することと、
    を実行する、
    請求項７に記載のシステム。
  9. 前記端末は、前記ユーザが選択した前記第二の画像を、前記ソーシャルネットワーキングサービスに送信する、
    請求項８に記載のシステム。
  10. 前記制御部は、
    前記画像送信依頼を受信した前記サーバから、前記ソーシャルネットワーキングサービスにおいて、前記ユーザが投稿した画像に対してソーシャルボタンが押された数に関する情報を更に取得し、
    前記第二のデータベースに記憶されている前記撮影装置によって撮影された画像のうち、前記第一のデータベースに記憶されている前記ユーザが投稿した画像のうちの所定数以上の前記ソーシャルボタンが押された画像と同じ特徴を有する画像を前記第一の画像として抽出して、前記第三のデータベースに記憶させる、
    請求項７から９の何れか１項に記載のシステム。
  11. 前記制御部は、前記第一のデータベースに記憶されている前記ユーザが投稿した画像と、前記ユーザが投稿した画像に対して前記ソーシャルボタンが押された数と、に基づいて、前記第一のデータベースに記憶されている前記ユーザが投稿した画像の入力に対して、前記ソーシャルボタンが押される数が所定数以上であるか否かを出力する学習モデルを生成する、
    請求項１０に記載のシステム。
JP2020073024A 2020-04-15 2020-04-15 情報処理装置、情報処理方法、及びシステム Active JP7359074B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020073024A JP7359074B2 (ja) 2020-04-15 2020-04-15 情報処理装置、情報処理方法、及びシステム
US17/223,663 US20210327004A1 (en) 2020-04-15 2021-04-06 Information processing apparatus, information processing method, and system
CN202110391873.XA CN113542541A (zh) 2020-04-15 2021-04-13 信息处理装置、信息处理方法以及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020073024A JP7359074B2 (ja) 2020-04-15 2020-04-15 情報処理装置、情報処理方法、及びシステム

Publications (2)

Publication Number Publication Date
JP2021170721A JP2021170721A (ja) 2021-10-28
JP7359074B2 true JP7359074B2 (ja) 2023-10-11

Family

ID=78081476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020073024A Active JP7359074B2 (ja) 2020-04-15 2020-04-15 情報処理装置、情報処理方法、及びシステム

Country Status (3)

Country Link
US (1) US20210327004A1 (ja)
JP (1) JP7359074B2 (ja)
CN (1) CN113542541A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015220616A (ja) 2014-05-16 2015-12-07 株式会社ニコン 電子機器
JP2019053536A (ja) 2017-09-15 2019-04-04 大日本印刷株式会社 画像分析装置、端末、画像分析システム、プログラム
JP2019114243A (ja) 2017-12-24 2019-07-11 オリンパス株式会社 撮像装置および学習方法
JP2019114875A (ja) 2017-12-21 2019-07-11 トヨタ自動車株式会社 画像撮影装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3951786B2 (ja) * 2002-04-23 2007-08-01 株式会社デンソー 画像アップロード装置
JP5395956B2 (ja) * 2010-07-02 2014-01-22 株式会社ソニー・コンピュータエンタテインメント 情報処理システムおよび情報処理方法
US20130166390A1 (en) * 2011-12-27 2013-06-27 Anthony T. BLOW Crowd-determined file size uploading methods, devices and systems
JP2014155122A (ja) * 2013-02-12 2014-08-25 Canon Inc 情報処理装置およびその制御方法、システム、ならびにプログラム
US10091414B2 (en) * 2016-06-24 2018-10-02 International Business Machines Corporation Methods and systems to obtain desired self-pictures with an image capture device
JP2019079476A (ja) * 2017-10-24 2019-05-23 株式会社Ｈｅｗｇｏ ソーシャルネットワーキングサービス提供装置、ソーシャルネットワーキングサービス提供プログラム、ソーシャルネットワーキングサービス提供方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015220616A (ja) 2014-05-16 2015-12-07 株式会社ニコン 電子機器
JP2019053536A (ja) 2017-09-15 2019-04-04 大日本印刷株式会社 画像分析装置、端末、画像分析システム、プログラム
JP2019114875A (ja) 2017-12-21 2019-07-11 トヨタ自動車株式会社 画像撮影装置
JP2019114243A (ja) 2017-12-24 2019-07-11 オリンパス株式会社 撮像装置および学習方法

Also Published As

Publication number Publication date
CN113542541A (zh) 2021-10-22
JP2021170721A (ja) 2021-10-28
US20210327004A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
US10409850B2 (en) Preconfigured media file uploading and sharing
JP4462331B2 (ja) 撮像装置、制御方法、プログラム
US8447769B1 (en) System and method for real-time image collection and sharing
JP5823499B2 (ja) コンテンツ処理装置、コンテンツ処理方法、コンテンツ処理プログラム、及び集積回路
US20120321131A1 (en) Image-related handling support system, information processing apparatus, and image-related handling support method
US20110292230A1 (en) Method for managing privacy of digital images
US20140089401A1 (en) System and method for camera photo analytics
CN108108461B (zh) 确定封面图像的方法及装置
CN105956091B (zh) 扩展信息获取方法及装置
CN111680238B (zh) 信息分享方法、装置和存储介质
US8768377B2 (en) Portable electronic device and method of providing location-based information associated with an image
KR102078858B1 (ko) 웹툰 제공 장치 및 휴대 단말의 동작 방법
US6832101B1 (en) Image registration server and an image mediation distributing system
JPWO2013187108A1 (ja) 推薦装置、方法、およびプログラム
JP2009134333A (ja) デジタル写真共有システム装置
JP7359074B2 (ja) 情報処理装置、情報処理方法、及びシステム
JP5743017B2 (ja) 画像管理装置及びプログラム
KR101973865B1 (ko) 전자 앨범 관리 방법 및 영상 장치
JP5582453B2 (ja) 画像管理装置、画像管理方法およびプログラム
WO2023021759A1 (ja) 情報処理装置、情報処理方法
CN113885550B (zh) 信息处理装置、信息处理方法以及非临时性存储介质
CN116049464B (zh) 一种图像整理方法及电子设备
US20230388380A1 (en) Intelligent photograph sharing system
EP4184910A1 (en) Information processing device, information processing method, and program
KR101963298B1 (ko) 사진 관리 전용 어플리케이션이 구동되는 스마트기기 및 그 사진관리방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R151 Written notification of patent or utility model registration

Ref document number: 7359074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151