先日の Apple イベントでは、iPhone XS や Apple Watch Series 4 の発表がおこなわれました。今回は上位機種へのアップグレードということで小さな進化という印象でしたが、これとは別に特に興味をひいたのは、iPhone XS のカメラの性能をデモするために紹介された Homecourt というアプリでした。

» Homecourt

このアプリ、バスケットボールのシュートを全自動でトラッキングしてくれて、シュートした各位置やその位置ごとの成功率を表示してくれるというもので、すでに公開されており App Store からダウンロードできます。カメラの性能がより良い XS で使うのが良いのかもしれませんが、iPhone X でも使うことができ、近所の公園で試したところ、あまりの素晴らしさにかなりの衝撃を受けたので、その様子を紹介しようと思います。

シュートのトラッキングを行うには、バスケットゴールとシュートを打つ人、そしてコート上ならば3ポイントシュートのラインが全部映る場所に iPhone のカメラを設置する必要があります。理想的には、ゴールの真ん前が良いようですが、試したのは近所の公園で他に遊んでいる人もいるので、僕は、ゴールのななめ前方、コートの外側に三脚を立てて、iPhone を三脚に取り付け立てました。

続いて、アプリ下側のタブバーから、Record を選び、Workout を選択します。

すると、ゴールとボードを含め、四角の枠の中に収めてくれ、という画面が出てくるので、指示通りカメラの向きを調整します。

次に、バスケットボールのコート上でなら、3ポイントシュートやフリースロー用のラインを検知するのかもしれませんが、公園のゴール前にはラインが引かれていなかったので、画面上に表示される仮想的な3ポイントシュートやフリースロー用のラインを指でドラッグし傾きや位置を適当に調整します。

事前の設定に必要なのはこれだけ。三脚さえあれば、iPhone の他には何の機器も必要ありません。

あとは存分にシュート練習をすれば良いだけです。

どこからシュートを打ったか、そしてもちろんゴールしたかどうかを自動でトラッキングしてくれて、シュート成功率などの分析結果をこのような形で表示してくれます。

こちらが詳細な分析結果です。

圧巻なのは、全シュートを自動的にシュート毎に区切ってくれて表示してくれる Shot-by-Shot の画面。

ゴールしたかどうかの結果（赤色のMakeがゴール、青色のMissがミス）とともにシュートごとのシーンを後から再生することができます。ちなみに、筆者はバスケットボールは全くの初心者です。おかしなフォームだとは思いますがご容赦ください。

2本目のショットはゴールをかすめており、パッと見「あれ入ったんじゃ？」と見間違えそうなのですが、ちゃんと機械学習による判定は Miss と判定しており、なかなかの精度だと思います。（これはカメラの性能によるのかもしれません）

Shot-by-Shot の画面では、スローモーションにできたり、プレーヤーにズームしてフォームをチェックできたりと、反省とこれからの改善に役立てることができるんじゃないかと思いました。

他にも今日のハイライトということで、連続してポイントできたシーンなどを自動的に切り取って表示してくれたりします。

さらに面白いのは、タブメニューから Feed を選ぶと、他の上手なプレーヤーの練習の様子も閲覧することができるところです。

こちら3ポイントシュートがかなりの確率で入っているおかたです。

Shot-by-Shot 画面で各シュートの様子も見ることができるので、上手な選手のフォームをチェックして参考にすることもできるのだと思います。

他にも Teams という機能では、仲間と一緒にチームを作ることができ、各々撮影した練習風景をチェックしたり、分析結果を共有して切磋琢磨することができるようです。

毎月300ショットまでは無料で利用でき、それ以上無制限で使いたければ月額の料金が発生するようです。（2018/9/18時点では月額880円）

バスケットボール超初心者の僕でもかなりワクワクするアプリなので、バスケットボールをやっている方にはとてもおすすめなんじゃないかと思いました。

» ‎HomeCourt - The Basketball App on the App Store

学習するデータが増えていけば精度はどんどん上がっていくのかもしれませんし、そのうちフォームなども、ここの部分をもう少し上げていい、といったように自動でアドバイスしてくれるようになるのかもしれません。

機械学習をとても上手く活用しているお手本のようなアプリだと思います。スポーツと機械学習はとても相性が良さそうで、大きな可能性を感じました。

学生時代にアーチェリーをやっていたのですが、当時、矢が当たった場所は自分でスコアカードに手書きで記録していました。そうした記録もこのようにカメラと機械学習をうまく活用すれば、自動で記録できるようになるのかもしれません。（作ってみたい :) ）

機械学習を使ってどのようにコート、ゴール、プレイヤーを認識しているかなどの少し詳しい技術的な側面や、このアプリを開発した動機などを紹介している TED の動画があったので最後に紹介しておきます。