人工知能画像分類アプリ

人工知能の機械学習モデルを使って画像を精度良く分類するアプリを作りましょう

機械学習モデルを使ってカメラで撮影した画像が何か判別するアプリを作ります。結果は英語で表示されるのでこれを日本語に翻訳した後で読み上げます。

ページの最後にあるダウンロードセクションからアセットに使用するindex.htmlファイルをダウンロードしてください。 また、ソースコードもダウンロードできます。

[プロジェクト]メニューから[新規プロジェクトを始める]を選択し、"VisionApp"と名前を付けます。

アプリの概要

画像分類

このアプリではGoogleが開発したオープンソースの機械学習ソフトウェアライブラリであるTensorFlowのJavaScript ライブラリのTensorFlow.jsを使って画像分類しています。機械学習モデルとしてはMobileNetを使っていますが、他のモデルに置き換えもできます。簡単なJavaScriptを含むhtmlファイル(index.html)をウェブビューコンポーネントに読み込んで、ウェブビュー.JavaScriptの実行を呼び出してJavaScript関数をアプリから呼び出して画像の設定と画像分類を実行します。index.htmlの詳細はダウンロードセクションにあります。

ウェブビューに画像を表示する方法

画像はカメラコンポーネントで撮影しますがローカルの画像ファイルはウェブビューに表示できないので、いったん外部ウェブサーバーに画像ファイルをアップロードしてそのURLを受け取ってウェブビューに表示しています。これによって画像分類が実行できるようになります。

英日翻訳

多言語翻訳アプリで使っているのと同じ方法で英日翻訳しています。

デザイン編集

Screen1のタイトルを"ビジョンアプリ"にします。