【自作アプリ】瞬間表情力テストの紹介と技術的背景

2回目？の自作アプリケーションを作成しました。

Contents

1 何が出来るの？
2 とりあえず実行してみて
3 技術的背景（ここがメイン）
- 3.1 EmoPy
4 OpenCV
- 4.1 顔認識
- 4.2 window
5 Argparse
6 開発してみて
7 これから

何が出来るの？

Webカメラに映った顔を自動で検出し、目標の矩形の中に指定された表情で中に顔を入れれば正解となります。

といっても堅苦しいのでここで画像を見せます。

見てもらえるとわかりやすいと思います。説明に書いてあるとおりで、青い枠が自分の顔で黄色い枠か緑の枠が目標の矩形となっています。

黄色い枠　→　笑顔

緑の枠　→　怒った顔

になっています。

とりあえず実行してみて

GitHubリンク

ここにGitHubのリンクを貼っておきました。README通りにやれば実行するはずです。

何かあったら（何でも）issueか僕のTwitterに連絡してください。プルリクも待ってます！

技術的背景（ここがメイン）

EmoPy

これがメインかもしれません。

https://github.com/thoughtworksarts/EmoPy

EmoPyのリンクは上に貼りました。簡単にまとめると「顔の画像から表情を予測する」機械学習ライブラリです。

ここには学習済みモデルがあるので、それを実行するだけで予測ができます。このアプリでも学習済みモデルを走らせるだけです。

ここで問題！

かなしい😢　事件が発生。

README通りに実行すると少し不可解なところが……

predict関数を実行しただけで予測結果が表示されている……しかもmodel.predictは変数に代入していないからもしかして返り値が無い！？！？！？

ライブラリの中身を見てみましょう。（EmoPy/model/fermodel.py）

ここはpredict関数があるんですけど……returnが無い……

絶望しました。

悲しかったのでライブラリを改良しました。

予測ラベルとラベルの確率？（softmaxのアレ）が返ってくるようになっています。

OpenCV

顔認識

こちらも学習済みモデルを走らせるだけです。

というかモデルと呼ぶのが正しいかわかりません。デジカメに搭載されているような顔認識技術です。ディープラーニング要素一切ないです。

詳しくは調べてもらえると嬉しいです。

import cv2

path = "path"

cascade = cv2.CascadeClassifier(path)

face_list = cascade.detectMultiScale(img, minSize=(100, 100))

import cv2

path = "path"

cascade = cv2.CascadeClassifier(path)

face_list = cascade.detectMultiScale(img, minSize=(100, 100))

たったこれだけのコードで出来ます。

window

今回、GUI化させたんですけど何のGUIライブラリを使うかはとても悩みました。

最終的にはWebカメラを使うということでcv2に搭載されているwindowを使うことにしました。（初めて）

import cv2

# 定義
cv2.namewindow(WINDOW_NAME)

# 矩形の描画
cv2.rectangle(image_display, (x, y), (w, h), color, thickness=3)

# テキスト追加
cv2.putText(image_display, "aaaa")

import cv2

# 定義

cv2.namewindow(WINDOW_NAME)

# 矩形の描画

cv2.rectangle(image_display, (x, y), (w, h), color, thickness=3)

# テキスト追加

cv2.putText(image_display, "aaaa")

何だかんだcv2は矩形を作ったりテキストを追加するのが簡単でした。（テキストを日本語化すると文字化けしてしまうのが難点だったが）

Argparse

コード公開後、issueで教えてくださったものなんですがこれはコマンドライン引数を使うためのライブラリだそうです。

import argparse

parser = argparse.ArgumentParser()
parser.add_argument("-g", "--gpu", action="store_true", help="TF gpu版を使用しているかどうか")
args = parser.parse_args()
if args.gpu:
    """gpuを使用する場合はgpuの指定をしなければならないので"""
    from core.face_emotions import use_gpu
    use_gpu()

import argparse

parser = argparse.ArgumentParser()