クラウド型情報インフラの整備が進み，エッジコンピューティングの必要性が増してきている中，ネットワーク接続に特化した計算機の低価格化及び小型化により，企業がネットワーク機能を備えた製品を生産し，IoT 分野が醸成されつつある．近年ではセンサでデータを収集する機器だけでなく，ユーザに対し能動的に生活支援情報を提示する機能を持つ機器も増えた．しかし，日用品等，ユーザが 1 つの行動に絞り込むことができる物品に情報提示機能を付与することは難しく，Smart Speaker の様に豊富な計算資源をもつ機器から多種多様な情報が提供されているのが実情である．
そこで本研究では，Mixed Reality 技術を応用することで，「買う―捨てる」のサイクルが激しいペットボトルのような，IoT 機器化困難なモノを仮想的に IoT 機器化する手法，v-IoT システムを提案する．本手法は，ユーザへ提示する情報と促したい行動を，モノが持つアフォーダンス情報や機能を用いてマッチングを行う．これにより，v-IoT システムは行動の連想が容易なモノを介してユーザに情報提示を行うことが可能となる．結果として，ユーザにとって理解しやすく負担の少ない情報提示手法を実現できることが期待される．本論文にて v-IoT システムの設計・詳細，プロトタイプを使用した評価実験を行った．
評価実験では，ユーザの視点から IoT 機器化困難なモノからの情報提示手法の印象・ユーザビリティ評価を行う．また，デザイナの視点からシステムの表現力・工程数に対するパフォーマンスについて検証・評価を行った．
ロボットのモーションに対する誇張表現の自動生成支援ツールの提案：ramp
人間と協調して働くサービスロボットの活用が期待されており，近年国内でのサービスロボットの開発数が増えている．2017年に開発されたサービスロボットをジャンル別に分けていくと，“ホビー”や“見守り・コミュニケーション”といったジャンルが上位に上がっている．こうしたサービスロボットへの期待の高まりに伴い，ロボットのモーション作成の場が増えていくと予想される．現状のモーション作成の実態として，タイムライン上にキーフレームを置いていく手法や ROSによるモーター制御などが挙げられるが，これらのモーション作成は熟練者と初心者でモーションの自然さや，迫力といった点で差が開いてしまいがちである．そこで本研究では，アニメーションで使われる誇張表現をユーザが作成したモーションに自動的に付与する ことで，モーション作成の工数削減と，ロボットのモーションの自然さの向上を目的としたシステムを提案する．複数の誇張表現を取り入れることで，ロボットのモーションの自然さや滑らかさといったユーザの印象を調査，及びシステムの有用性を評価した．
Cooperative Telepresence Robot
2018年度ORF(Open Research Forum)にて出展
従来のテレプレゼンスロボットは，ユーザが操作してビデオチャットなどで遠隔の相手と会話をするために使われている，いわばアバタロボットだった．しかし，カメラの画角の制約で感情が伝わりづらい，通信状況次第で会話のテンポが悪くなり話題が続きにくい，といった問題があった．これらは，ユーザがロボットをアバタとして操作するだけでは解決は困難である
本プロジェクトが目指す協働型テレプレゼンスロボットは，ユーザの状況や感情を認識し，会話を円滑に進むように会話に参与する．すなわち，ロボットはアバタとしてのみならず，独立したコミュニケーションの仲介者としても振る舞う．ユーザの感情に合わせたビデオチャットとの加工や，会話状況，通信状況を踏まえた話題提供を行うことで，ユーザのコミュニケーションの質を向上させる．
Virtual IoT: Effective Use of AR Technology for Displaying Life-Support Information
2018年度ORF(Open Research Forum)にて出展
仮想的にモノをIoT化するシステムである．既存のIoT機器においてユーザが情報を手に入れる手段は，情報提示可能な機器の近辺に制限されている．そこで本システムでは，ユーザの視界に写っている周辺のモノから情報提示を行なっているように見せることで，より自由なモノ・場所・タイミングで情報を伝達することを可能にする．
本システムでは，Service Provider なる者が存在し，提示したい情報とユーザにしてほしい行動 (Goal Action) を用意しデータベースにおいている．Goal Actionは1つのモノに対して頻出する動詞から生成される．ユーザがアプリケーションを起動次第，受け取った情報を適した Goal Action を持つモノを選択し，AR を用いたエフェクトとともに情報を提示する．
Personality Development of Robots Through Long-Term Interaction with Users
2018年度ORF(Open Research Forum)にて出展
コミュニケーションロボットの普及が進む中で，一家に複数台ロボットがいる時代が来ると言われている．もし同型のロボットが皆同じ性格だとすると，ロボットとのインタラクションを不自然に感じ，ロボットに対する愛着や満足感が減少してしまう可能性がある．ユーザの情動やロボットに対する養育態度から，個々のロボットにユニークな性格形成を行うことを目指す．
C2AT2HUB Engine はユーザとの長期的なインタラクションによってロボットの性格を形成するシステムである．ロボットの情動を，相手に対して感じる情動である「対人情動」とロボット自身の情動である「情動」の２種類によって定義する．それぞれの情動の遷移傾向を，ロボットに対するユーザ行動の履歴によって調整することで，緩やかに性格形成を行う．
MoDe: ヒューマノイド型ロボットのためのモーションデフォルメツールモーションの基準の解析 : suzume
人間の「手を振る」「物を渡す」「挨拶」「なんでやねん」の４つのモーションを3パターン行ってもらったデータの収集，また, モーション解析ソフト“Kinovea”を使ったモーションデータの分析, 解析を行い, 分析結果からモーションをする上での傾向等の考察をおこなった. 手を振るモーションに関しては, 手を上げるまでの予備動作はどの場合にもあまり強調されず, 振り始めてからどちらかに強調されていた．
Integrating Manga-Effects to Telepresence Video Communication : rex
This research aims to test the new process of enhancing the quality of telecommunication. Focusing on the presentation of the video call from laptops and from telepresence robot, we test whether utilizing Manga-Effects, emotion-emphasizing Manga-like video filters, proves effective to bring out one’s social presence.
While many related research have approaches incorporating the video processing of the users’ background, we approach this topic by taking the users’ facial expressions.
Pythonでボコーダー技術を用いた音声の再合成を行った : easy
既存のボイスチェンジャーはピッチやフォーマットを調整することで声の性質を変換させている。そのため、利用者の声しに依存してまうため、理想の声で配信することが難しい。
利用者のなりたい声で、発信ができることを目標に、音声合成技術について学んだ。
Personality Development of Robots Through Long-Term Interaction with Users : kiyomo
This research aims at developing a system that emulates a smooth and gradual personality development
of communication robots through robot-to-user interaction. The system developed in this paper will be a
successor model of a previously created model based off human child personality development model, called C2AT2HUB. The successor model will emulate a smoother personality development, while making it transparent for the user and will be experimented and evaluated on a longer period of time using the Vector Resolution Method.
ロボットの会話における擬似感情の音声的表現 : drowsy
ロボットと人の会話において、会話の盛り上がりを半減させる要因の一つとして音声が単調である事があげられる。ロボットの擬似感情から音声に感情表現を自動調整し、それに合わせた発話をするよう実装する。その場合、会話履歴から感情変化の流れを考慮することでより自然な音声になり、コミュニケーションの円滑化が見られるかを検証する