インターネット健全性とQoE計測について

メールマガジンで配信したインターネットに関するコラムを、このブログでもご紹介しています。2024年3月は、株式会社Jストリームの鍋島公章さんにお書きいただきました。インターネットの健全性を把握するために、大手アプリケーション事業者（OTT）で計測されているQoEをインターネット関係者全体で共有することで、インターネット全体の最適運用につなげていくことを提唱なさっています。

はじめに

インターネットは社会インフラとなっており、その健全性を把握することが重要になっています。これに対し、いままでは速度計測等のQoS（Quality of Service）計測が多く行われてきました。しかし、QoS計測には、計測数を多くできない、ユーザー視点での評価が難しい、というような問題があります。

一方、大手アプリケーション事業者（OTT）では、自社サービスのユーザー体験（QoE、Quality of Experience）を数値化し計測することが一般化しています。代表的な例が動画サービスで、大手OTT（YouTube、Netflix等）は、ほぼすべての視聴セッションでQoEを計測していると言われています。これをトラフィック量的に見ると、全トラフィックの3～4割程度（動画トラフィックの半分程度）は既にQoE計測されているという状況です。

つまり、QoS的なアプローチでは全体像が見えにくかったインターネットの健全性ですが、OTT側は、既に動画視聴QoEという視点でインターネット全体の健全性を計測し続けています。そして、OTT側のQoE計測は、現状、自社サービス運用のためだけに使われている状況ですが、その結果をインターネット関係者全体で共有し、インターネット全体の最適運用につなげるべき時期だと感じます。今回は、このような背景のもとに、視聴QoEの基本的なところから指標としての課題までを解説したいと思います。

QoSとQoE

QoS （Quality of Service）とはネットワークの性能を示すものであり、代表的なネットワーク指標としては、速度、揺らぎ、遅れなどがあります。ただし、健全性という視点では、どれぐらいの性能（速度、揺らぎ、遅れ）であれば健全であるかの指標設定について、ユーザーの利用するサービスにより変わるため、絶対的な指標を決めづらいという課題があります。

一方、QoE（Quality of Experience）は、ユーザーがネットワークを使用するサービス（ゲーム、Web、動画等）を利用した時の体験を数値化したもので、それぞれのサービスにより異なるQoE計測を行います。今回、これらの中で最も大規模に行われているQoE計測である、動画視聴QoEに絞って解説を続けます。

動画視聴QoE

動画視聴QoEについては、基本的に以下の二つの指標に分類できます：

• 視聴した動画品質（画面サイズ、フレームレート）
• 視聴経験のスムーズさ（エラー回数、待ち時間（初期バッファリング、視聴中バッファリング））

ここで、動画品質については3段階ぐらいからの選択（マルチビットレート）になり、計測のメインは視聴経験のスムーズさになります。そして、これらのQoE計測は、PCやスマートフォン上のメディアプレイヤーで再生操作等のイベントも含めて計測（補足1）され、集計サーバに送信するという手順になります。

補足1：メディアプレイヤー上では、補助指標としていくつかのQoS指標（スループット、レイテンシ等）も同時に計測されます。ただし、計測対象となるのは動画の断片であり、このファイルサイズは画面の変化量等により変化します。そのため、一般的なQoSのような固定サイズのファイルに対するスループット計測に対して誤差が大きくなります。

そして、これらの計測をベースに単一化（例：0～10のスコア化）した指標（ITU-U MOSスコアやQoE計測大手NPAW社のハピネススコア）もありますが、視聴の問題点をあぶり出しにくいため、実際には以下のような個別スコアを分析しています：

• エラー回数、初期バッファリング時間、視聴中バッファリング時間、バッファリングによる停止回数

さらに、上記スコアの評価では、平均値ではなく、悪いスコアの出現割合を評価する必要があります。例えば、ある野球中継サービス（平均視聴時間10分程度）におけるバッファリングによる再生中断回数の平均値は、固定とモバイルで以下の回数になりました：

• 固定：0.27回
• モバイル：0.36回

しかし、このデータだけで全体的な視聴体験の良否を判断することは困難です。そのため、中断回数を0回、1回、2～3回、5～7回、8回以上とグループ化し、視聴セッションを分類すると以下のようになり、もう少し状況が見えてきます：

中断回数の割合(%)

つまり、固定では91.21%、モバイルでも82.84%の視聴セッションは中断が発生しておらず良好です。しかし、4回以上バッファリング中断がある（フラストレーションがある）視聴が、固定では1.09（0.75+0.34）%、モバイルでは2.16（1.73+0.43）%発生していることがわかります。

同様に、セッション中の総バッファリング中断時間の平均値は、固定とモバイルで以下のようになります：

• 固定：1.98秒
• モバイル：4.41秒

これを出現頻度でヒストグラム化すると以下のようになり、8秒以上のバッファリングを経験しているユーザーの割合が固定で4.16%、モバイルで9.74%いるという結果になります：

再生中バッファリング待ち時間の割合(%)

以上のように、QoE計測の結果は、平均値ではなくスコアの出現比率を見ることにより、サービスの健全性を把握することが可能になります。

低QoEセグメントのあぶり出し

QoE分析の目的は、低QoEなセグメント（都道府県、ISP、ネットワーク種別、端末種類等）を見つけだし、最終的にはそのセグメントのQoEを改善することです。

低QoEセッション（エラー発生、高バッファリング待ち※）を都道府県ごとに比較したグラフは以下になります：
※：以下のどれかを満たすセッション

• 初期バッファリング：6秒以上
• 再生中バッファリング時間：30秒以上
• 再生中バッファリング率：10%以上
• 中断回数：8回以上

都道府県別の分析としては、青森が少し気になりますが、突出して悪い都道府県は存在していない状況だと言えます。

一方、固定ISP別のものは以下になります：

こちらについては、ISPによるQoE品質の良し悪しが出ているように見えます。また、一般的に、自社で足回りを持つローカルISPやケーブルISPの方が、NGNを使用する全国ISPよりもQoE品質が良いように見えます。

また、モバイルオペレータ別のものは以下になります

まず、モバイルの場合、固定よりも全体的にQoEが悪いことがデータとして表れています（グラフの縦軸が固定の6倍程度）。また、一般的な傾向として、MVNOのQoEの悪さが読み取れます。しかしMVNOの場合、帯域を抑える代わりに料金を安くしたプラン等を提供している場合もあり、単純には比較できません。本来は、モバイルオペレータと共同で詳細に分析する必要があります。

QoEを利用したインターネット健全性向上

これらのQoEスコアは、上手く活用（公開）すれば、国内インターネットの健全な品質競争の実現につながりますし、ISP間の無意味な（ユーザーが認識できない、実際には使用できない）速度競争を避けるための指標にもなります。

また、計測コストについては、大手OTTであれば既に自社サービスのためにQoEを計測していることが多く、新たな計測コストは発生しません。そして、QoE計測を行っていないOTTに対し、無料で基本的なQoE計測サービスを提供することも（QoS計測に比べれば）比較的低コストで可能です（※補足2）。

※補足2：QoE計測自体はプレイヤー側で実行され、OTT側にかかるCPU負荷はサーバ側での集計処理のみです。また、計測対象は実サービスで流れているトラフィックやイベントであり、計測のためだけのトラフィックは発生しません。

ただし、以下のような課題もあります：

• プライバシー対策：基本的に統計情報は個人情報には当たらないと考えられますが、使用許諾を求める記載が無難です。
  • サービスの使用許諾に「QoE統計情報の公開を行う」という記述が必要になります
• 宅内環境の影響：視聴QoEはISP回線のみならず宅内Wi-Fiや端末の影響を受けます。
  • 公平な比較が統計的可能になる観測QoEデータ（セッション）数の判定が必要になります
• 集計主体：複数OTTのQoE統計を集計する組織が必要です。
  • OTTを所轄する総務省情報流通行政局コンテンツ振興課と、インターネットを所轄する総務省総合通信基盤局データ通信課のジョイントワークとして集計することが妥当かと思われます。
• 品質の悪いISPからの反発：このような視聴QoEの公開は、明確に品質が悪いと判定されたISPからの反発が予想されます。
  • これについては、当面、監督団体のみが全体QoEを把握し、非公式に勧告するような制度作りが必要になるかと思われます。

以上のように、視聴QoEは課題がありながらも、上手く活用すれば国内インターネットの健全な運用につながるものであり、活用に向けたアクションが必要なタイミングであると感じています。

今後について

視聴QoEは、うまく活用すればインターネットの健全な成長および維持に関する強力な指標となります。しかし、解かなければならない課題もあります。また、現状国内では、ストリーミングに関するこのような議論ができる場所が無いため、グループを立ち上げようと思います。ぜひ、ご参加ください。今回紹介したQoEデータについて、より広範囲かつ詳細な解析について勉強会を開催する予定です。

Japan Stream Enginnering Group (JaSEG)
https://www.kosho.org/blog/streaming/jaseg/

■筆者略歴

鍋島 公章 （なべしま まさあき）
インターネットにおける各種メディアの大規模配信について、研究開発、サービス立ち上げ、運用と全方面について関わる。