AIの進化はさまざまな産業に革新をもたらしており、自動運転やロボットなど多くの産業がテクノロジーの進化とともにその姿を変えている。スポーツの世界も例外ではなく、プロスポーツを取り巻くテクノロジーは急速に進化している。
選手のデータをさまざまなセンサーで計測し、技術の向上に役立てることは以前から行われてきたが、得られるデータの質と量が大幅に向上した現在、この大量のデータをどのように保管して活用すればよいのだろうか。また、このデータを選手や指導者だけでなく、観客にとっても役立つものにするためにはどのようなアプローチができるのか。こうした課題をAIに代表されるテクノロジーで解決し、「AI時代のスポーツ」を実現するため、ソフトバンク先端技術研究所と慶應義塾大学神武直彦研究室は昨年より「スポーツ×データ」をテーマに研究に取り組んでいる。 4部構成のシリーズ『スポーツ×データ 最先端のその先へ ～AIスタジアム構想～』では、本共同研究の内容を明らかにし、スポーツデータの現在と未来、スポーツ現場におけるデータ活用の実践と成果について議論する。
第2回では、慶應義塾大学日吉グラウンドで行うデータを活用した慶應義塾體育會蹴球部（ラグビー部）の実際の練習事例と、同グラウンドを仮想AIスタジアムとし、構想の実現にむけた実証の場として扱う共同研究の内容に迫る。
文：FINDERS編集部
データはこう活かす。慶應ラグビー部の実践的取り組み
慶應義塾大学および、慶應義塾高等学校ラグビー部では、以前よりICTの活用を進めてきた。慶應義塾高等学校ラグビー部の監督であり、慶應義塾體育會蹴球部のGMを務める和田康二監督にこれまでの歩みと、現在の取り組みについて伺った。
和田康二監督
「慶應ラグビー部では以前よりGPSを使った選手の位置情報の追跡や運動量の把握などを練習と試合に取り入れていますが、ここ数年でGPS受信機の性能は大きく上がり、トラッキング精度も耐久性も大きく向上しました。また、以前はデバイス一つあたり数十万円だったものが数万円で導入できるようになったことで、学生スポーツレベルでも活用されるようになってきました。データのコモディティ化が進み、日常のトレーニングから試合まで、選手の走行情報を簡単に取得し、選手のパフォーマンス向上や傷害予防などに活用できるようになっています」（和田）
この背景には共同研究を推進する慶應義塾大学・神武直彦教授の研究チームと関係の深いスタートアップ企業が提供するスポーツ用GPSシステムの研究開発の成果があるという。
神武直彦教授
「そのスタートアップ企業のキーパーソンとは起業当初から連携をしていて、その方はもともとラグビーではなくて建設機械の会社でのGPSの活用の経験をお持ちでした。そして、学生時代からラグビーをされていたこともあり、GPS受信機の値段の高さや、使いこなすことの難しさがハードルになっていることを理解されており、ご自身でそこにチャレンジしたいということで、研究開発を始められたんです。
『インクルーシブデザイン』といって、いいものを作るには利用する人と作る人が共にデザインに関わることが価値のあるプロダクトやサービスを実現するには重要だという考え方があります。今回のソフトバンクさんとの取り組みもそうあるわけですが、担当の方は慶應義塾大学のラグビー部の練習や試合に足繁く通われて、現地で課題やニーズを把握されて、既存の市販品に比べて高精度で安価な受信機を実現されています」（神武）
練習や試合で使用されているGPS受信機
このような技術革新や低価格化が進んだこともあって、安価に多くのデータを取得できる状況が整ったことが、今回のAIスタジアムの構想にも繋がっていったという。
「データを活用して何かをするということは料理と一緒です。データという"食材"が手元に集まったら、次はそれをどうやって"調理"するのかということを考えます。もちろん食材である"データの質"はなにより重要ですのでGPS受信機などの性能や導入状況は料理の完成度に大きく影響します。そして現在は、せっかく質の高い食材が集まったので、AIという調理法を活用してみようという段階です。言い換えれば、さまざまなデータを意味のある『情報』、そして意思決定のための『インテリジェンス』に変えるひとつの方法が、AIスタジアムです」（神武）
また、和田監督、神武教授の両名は実際にこうした技術の恩恵を受ける部員たちについても教えてくれた。
「私自身は2001年に大学を卒業しましたが、当時と比べると、今の高校生も大学生もフィジカルのレベルが全く違います。GPS受信で取得できる試合中の走行データ等から、ラグビーというスポーツに最適化したトレーニングが進化し、体を大きくしながら試合で走れる体づくりが可能になったためです。また、映像情報の面でも、たとえば世界中のトップレベルの試合を簡単に見られる時代ですから、部員たちもスマートフォンでそういう情報に自らアクセスしています。スポーツに限らず、自分がやってることに真剣で興味関心を持てる子は大きく成長できる環境だと思います。一方で、これだけさまざまな情報やコンテンツが溢れている世の中なので、それらを活用して自分の能力を高めることに積極的な部員と、そうでない部員の差は開いてしまうでしょう。取り組み姿勢、意識が大切という意味では、それは僕らの頃とあまり変わっていません。一番大切なことは、"本気"かどうかです」（和田）
「今の高校生や大学生世代の人たちは毎日スマホを使い、さまざまなデジタルサービスを使って過ごしていますから、デジタルネイティブの方が多いです。手にできるデータがいっぱいあって、その中で考えるので、データに明るい部員が増えていく環境が整っていると思います。そういう意味では昔に比べるとデータを活用して人もチームも成長できる条件が揃ってると思います。練習の内容をとっても、データを見て『これは意味があるよね』って判断してから行動することができる。一方で、考えてばっかりで行動できないで頭でっかちになっちゃう子も結構いるんだけど、要はスポーツの世界ではトレーニングのノウハウや情報による差は減りつつあり、どの学校も基本的な原理・原則は知っている。そういう意味で、情報の質や量という意味では昔よりも平等になってきていると思います。その上でどう"勝つ"かが求められています。僕ら大人はつい『俺たちの時代にこんなテクノロジーやデータがあったら、もっと上手くなれたのに』って思っちゃいますけどね（笑）」（神武）
センサーによる身体のトラッキングと大量の映像を組み合わせ、スポーツの動きをこれまでにない形で可視化できることはAIスタジアムの大きな恩恵となりそうだ。自分の動きや数値を客観的に分析して、足りない技術や意識を補うことで、これまでよりぐっと成長しやすくなる環境が整っているというわけだ。
映像、センサー、心拍…さまざまな角度からデータを計測
さて、冒頭で登場した慶應義塾大学日吉グラウンドの話へと移ろう。主に慶應義塾大学ラグビー部および、慶應義塾高等学校ラグビー部の練習場であり、ソフトバンクと同校の共同研究における実践の場にもなっているグラウンドだ。
まずは練習・試合時のデータの取得について大枠を見ていこう。
取得するデータは、①カメラで録画した「映像データ」、②GPS受信機による「走行・移動データ」、③アクティビティトラッカーによる「心拍データ」の大きく3種類だ。
映像データは「ドローン」「固定カメラ」「タブレット／スマートフォン」の主に3つの方法で撮影しており、それぞれ試合・練習および、その振り返りに使用される。ドローンは主に試合や試合形式の練習の際に上空から俯瞰でフィールド全体を撮影し、各選手が最適なポジショニングをできているか、といったことをチェックする。
固定カメラは、グラウンドに設置してある櫓の上からフィールド全体を見渡すような広い視野で撮影している。俯瞰してチェックすることはドローンと同じ目的だが、固定カメラは横から撮影することで全体の動きの中の姿勢や視野などより選手に近い視点でのレビューのために使っている。さらに練習や試合におけるチームでの練習の区分や個人のプレー（タックル、パス、キックなど）のタグ付けをして定量的なデータの作成、取得を行っている。また怪我発生時の状況の振り返りなどにも活用している。またタブレット／スマートフォンでは、スクラムやラインアウトといったラグビーにおける重要な場面の撮影に使用される。
スクラムの様子などは個別に映像を撮影する
「走行・移動データ」は、練習中にGPS受信機によって計測を行い、1.総移動距離、2.移動軌跡、3.最大速度、4.スプリント（18km/h以上の走行）の距離・回数、5.加速度（2.5m/s2）の回数、の5項目をデータとして取得する。
首元にGPS受信機を収納するポケットがついたウェアを着用し、練習・試合中に常時計測を行った後、コーチの手によってパソコンへの取り込みと、Excelでの管理、クラウドストレージを通じての選手への共有が行われる。
「心拍データ」は心拍センサーを装着して取得する。身体のトレーニング強度を測っているほか、チームの平均心拍数に対して一定の心拍数をターゲット（120% または 90%）にした負荷メニューを実施する。たとえば心拍数が基準に満たない場合は練習を中断し、個別にダッシュなどのメニューで負荷をかけ、そのときどきで狙った負荷状態を意図的に作りだすといったことも行う。
次はチーム練習・試合時間以外で計測している個別のデータについて説明したい。
ラグビー部において重視されている走力に関する基礎データは、週1回計測の「最大加速度」と「最高速度」だ。GPS受信機を着用したまま光電管というセンサーを利用した40m走を行い、10mごとに細かいタイムと加速度・速度を正確に計測する。また年に数回、慶應義塾大学スポーツ医学研究センターの施設で水中体重秤量法による体脂肪量計測を行い、筋肉量を算出してウェイトトレーニングの効果などを含めて身体の状態を適切に把握することも行っている。
部員自身による数値の計測も行っており、部員たちは疲労感、体温、睡眠時間とその質、各筋肉の部位ごとの状態、ストレス度、体重などをアプリで毎日記録することで、肉離れといった怪我防止に役立てている。また日々の練習の最後には練習強度・判断場面の多さ・理解度などをRPEスケール（自覚的運動強度）に基づいて算出している。客観的なデータだけでなく、部員本人の主観に基づいた評価もデータとして取得しているということだ。
AIを駆使したデータ活用の高度化、共同研究の内容とは？
ここからは、共同研究内容について説明していきたい。まず、AIスタジアムにおける「AI」は何を行っているのか、ここを紐解きながら整理していこう。
今回のユースケースとしては、「データを取得して、分析し、練習や試合などに活かす」という一連の流れがあり、この中の各所にAIを活用しているのがポイントだ。
前述のように、データの取得方法は、選手にGPSを装着し位置情報を得たり、さらに本研究では光を用いたリモートセンシング技術であるLiDARを活用し一律的に点群データを得る試みをしているが、それぞれ一長一短で完全無欠とはいかない。
たとえば、GPS受信機は選手個人それぞれにデバイスを装着するため、個人に紐づいたデータの運用が可能だが、得られるのは位置情報のみで、選手が立っているのか寝ているのか、ボールを持っているのかといった状態の把握はできない。一方で、LiDARから得られる点群データは各選手の紐付けは行えないが、計測可能範囲であれば高い精度で測定が可能であり、状態把握もできる。
データの計測や運用には、これらの長所を組み合わせ最適な解を出すことが重要だ。また、これらの上位互換として可能性を秘めているのが、実は「映像」である。映像はデータとして多くの情報を含んでいるが、それゆえにその豊富な情報の存在を普段意識することは少ない。この映像の解析にAIを用いることで、有益な情報を抽出することができる。映像上からAIによる画像認識技術を用いて選手自身、そしてフィールド上の立ち位置を特定し、位置情報として扱うことができたり、AIによる骨格推定技術を用いて、タックルやトライなどのラグビーという文脈の中での状態把握などに活用が可能である。
映像とAIによる骨格推定技術を適用した状態把握
次に「分析」ではどこにAIが活かされているのか。ラグビーをはじめ、スポーツ競技における分析、戦略立案には非常に多くの要素が絡み合う。取得したデータの活用はもちろん、定量化の難しい選手個人のメンタルやチームの士気、相手チーム内の雰囲気、そしてそれらが影響する試合全体の流れ、これらを総合的に分析する必要があるのだが、今のAI技術でもまだ難しい。
では、どこにAIを活用しているのかと言えば、データの「下ごしらえ」だ。
取得したデータは必ずしもすぐに分析ができる状態では無い。たとえば、選手のGPSデータを見ただけではほとんど分析はできない。このデータを解析し、走行距離やスプリント数などの一次処理をした情報となって初めて人による分析が可能になる。この一次処理、つまりは人が分析できるまでデータを整え、「情報」とする作業にAIを活用している。いくつか事例を紹介しよう。
データ分析に必要な処理プロセス（下ごしらえ）
ラグビーはその特性上、それぞれのプレーにおける選手の位置関係が大きく変わる。たとえば、スクラムでは両チームの選手が一つのブロックを作りあげるように一箇所で密集状態になる。一方でオープンフィールドでボールを運ぶ際は、選手たちはフィールド上で大きく横に広がる。こうしたプレーの分類は現在も人の目視によって行われており、前述した慶應ラグビー部でも学生アナリストが対応している。ここにAIを用いることで映像から自動でプレーの分類を行い、リアルタイムな処理が可能となる。
AI（映像解析）を用いた自動プレー分類
カメラやセンサーなど、複数のデバイスを扱う際はそれぞれのデータが時間軸で同期していないと、正確な結果が得られない。これは前回記事でも触れた時刻同期の話だ。たとえば、A、B、Cというセンサーが3台あって、それぞれ500ミリ秒、300ミリ秒、150ミリ秒ごとにデータを取得しサーバに送るとする。これらのデバイスが持つ時刻が同期されていないと、3つのデータを連携し解析する際に時刻がズレてしまい、正しく連携できなくなってしまう。前述の慶應ラグビー部でも然り、手作業でこれらを実現しているのが現状だ。
また、データはネットワークを通してそれぞれ伝達されるわけだが、通信においては無線のゆらぎなどでネットワーク上の遅延がバラつきやすい。これらが影響しそれぞれのセンサー間ではさらにバラつきが発生してしまう。単純な作業に見えて時刻同期したデータを遅延を少なくサーバに到着させることは容易でないのだ。
そこで目をつけたのが試合中に鳴る「ホイッスル」だ。ラグビーはプレーの切れ目で審判のホイッスルが必ず鳴る。この特徴を活かし、ホイッスルのタイミングをそれぞれのデータ内で把握できれば、それらを基準として時刻を合わせることができるというわけだ。映画の撮影時に「アクション」の後にカチンコをきって、この音をもとに複数のカメラの時刻同期をするのと同じ仕組みと理解できる。またホイッスルの音を周波数解析することで、選手たちの話し声や観客の歓声との識別もAIが行う。さらに、ラグビーではホイッスル音はプレーごとに吹き方が変わるため、キックオフ、反則など、より細かく分解も可能だ。前述の映像によるプレー分類に融合することで、さらに精度を高める事も可能となってくる。
時刻同期イメージ（上）とホイッスルの周波数解析（下）
最後に、ここまで集めたデータと、一次処理によって得た情報を用いてどのように練習や試合に活かすのかを、あらためて説明していこう。
GPSやLiDARのデータから得られる選手の位置情報は、普段、側面からしか見られないグラウンドの全体像を、まるで空から見ているように平面的に捉えることができる。さらには一次処理で選手間の位置関係を自動算出することで、定量的に自チームのフォーメーションの崩れや相手選手との適切な距離、相手チームのフォーメーションの穴などを分析することができる。それらとあわせて、一次処理して得た選手個人のスタッツ情報から、疲労度などのパフォーマンスを把握することで、采配へと活かしていく。
選手間の位置関係を自動算出し分析に活かす
次は、それぞれの個別プレーだ。ラグビーではさまざまな密集プレーが発生する。たとえばスクラムやラインアウトなどのセットプレーでは多くの選手が密集し、コンタクトが発生する。オープンプレーでは何度もタックルが交差し、密ができてはボールが運ばれ、また密ができるを繰り返す。この密集時のスキルはラグビーで非常に重要なものだ。そのため、ここでのスキル向上を目指すには密集地帯の選手の状況を正確に把握することが求められる。
これを実現するには、単視点による分析では限界があり、多視点の分析が必須のようだ。そこで日吉グラウンドを対象にした仮想AIスタジアムに設置した6台のカメラから得られるそれぞれの映像を、見たい視点のカメラに切り替えながら密集地帯の状態を把握し、分析していく。音声を含めたカメラの映像はWi-Fiを用いてクラウドに集約し、解析した結果を専用のアプリケーションから確認できる仕組みだ。お気付きの方もいるだろうがこのカメラの時刻同期には、前述したホイッスル音の解析を用い、映像を振り返る際には映像解析によるプレー分類を活用し、プレーごとのCUEポイントを自動で設定し迅速な分析を実現している。
日吉グラウンドに設置された常設カメラとそれらの映像を集約したアプリ画面
アプリを練習に活用し検証する様子
そしてここまで分析した結果を選手やチームに適格にフィードバックしデータ活用は完成する。コーチやチームメイトから話を聞くだけでなく、その状況を実際に目にすることで、選手の理解や改善が容易になっていくことは想像できるはずだ。
また、まだ試作段階とのことだが自由視点映像を活用したフィードバックにもチャレンジしているという。「自由視点映像」とは、多視点映像のように複数カメラのそれぞれの画角内のみの映像だけでなく、3D空間を作りだし、その中で自由に視点を動かせる技術だ。国内のスタジアムでも導入事例はあり、効率的なフィードバックやこれまでにない視点からの映像は新たな発見や体感を与えるとして期待されている。ただ、この自由視点映像は、多数のカメラで撮影した映像をそれぞれ繋ぎ合わせて一つの空間映像としているため、その規模に比例してカメラの数が増え、導入コストも上がりやすいのが課題だ。
そこで今回実施しているのが、これまたAIを活用し少ないカメラでも自由視点映像を実現するというものだ。従来の技術では、隣のカメラの画角範囲と少々重なる程度の間隔でカメラを設置する必要があったが、この技術は隣のカメラとの間隔を広げ、「その間にあるであろう映像」をAIで推論し、生成して穴を埋めていく仕組みとなる。まだ、試作段階で具体的に何台のカメラで実現できるのか、またリアルタイムに生成できるのかなど課題は多くあるようだが、未来の技術に期待したいところだ。
NeRFによる自由視点映像（ソフトバンクより提供）
本研究では、アジャイル的に開発しながら練習に適用し、監督やコーチとの議論を深め、磨きをかけている途中ということで、まさにこれから本格的な検証のフェーズを迎え実効果の評価なども行われていくという。
次回・第3回は神武教授が中心となって取り組む子どもたちに向けたデータ活用スポーツプログラム「慶應キッズパフォーマンスアカデミー（KKPA）」におけるデータ活用の事例を取り上げる。データの継続的収集や、こうしたデータを活用して育む児童の「運動有能感」についても掘り下げていく予定だ。
第1回：スタジアムへのAI導入がスポーツの発展を加速する ソフトバンクと慶應大学の共同研究で挑む「スポーツにおけるデータ活用」