A08: 表情認識で 新たなコミュニケーション 手段 開発プロジェクト


概要

難聴者の方のために手話や読唇術だけではなく、新たに表情を利用したコミュニケーション手段を開発することで、未習得の方でも使いやすくコミュニケーションが取れるようにしたいという思いからこのプロジェクトを開始しました。アプリではなくwebサイトなのでダウンロード不要で自分だけのライブラリを作り、誰もが楽しくコミュニケーションを取れるようになっています。

目的

難聴者と健常者で表情のみの会話が成立するようにし、また両者のコミュニケーションの壁を低くする。

目標

・自分の表情を撮って、文字と一緒に(DBに)登録

・(DBに)登録したものをリアルタイムで検出させる

・表情だけで長文会話(2往復以上)出来るようにする

メンバー

竹谷優香 :プロジェクトマネージャー

萱島綾香 :デザイナー

野中碧  :デザイナー

村谷衣真里:デザイナー、プログラマ

山口万里阿:プログラマ

画面遷移

開発環境

〇Windows 言語:JavaScript

 ・VisualStudioCode

 ・XAMPP

 ・Media Capture and Streams API WebAPIインターフェースIMDN

  (WebRTC関連のブラウザ用API)

 ・clmtrackrライブラリ(顔認識) ←AIは未使用

 ・ペイントツール

 ・AviUtl(gif動画)

〇使用端末:PC(Safari/GoogleChrome)