IETF国際動向 – 第124回IETFより ～WebおよびAI関連の動向～
tech_team IETF インターネットの技術 他組織のイベント 標準化とアーキテクチャ先日公開した「IETF国際動向 – 第124回IETFミーティング概要とBOFより-」に続いて、WebとAIに関連したワーキンググループ(WG)およびその議論についてご紹介します。今回のレポートは、後藤ひろゆき氏（株式会社グリー）にご執筆いただきました。
AIのここ数年での進化には目を見張るものがあります。多くの製品やサービスにおいてもAI機能が搭載されるようになり、凄い速さで利用が進んでいます。Webという文脈においても、AIエージェントがユーザーに代わりWebサイトにアクセスし情報を収集するようになっています。
そのような中で、AIに関する仕組み(例えばModel Context Protocol)の整備はIETFに限らず進められています。IETFではHTTPといったWebの要素技術の標準化も進められていますが、今回はIETFで行われているWebとAIに関連したワーキンググループ(WG)およびその議論を中心に紹介します。
AI Preferences (aipref) WG
AI Preferences (aipref) WGは、2025年1月に結成された比較的新しいWGです。その動機は、コンテンツ所持者が自身のコンテンツがAIの学習用途に利用できるか明示的に許可/拒否を示せるようにするというものです。
今まで検索エンジンのクローラに対しては、Webサイトの所有者はrobots.txt (*1)という仕組みを用いて検索エンジンへの取り込み(index化)を許可/拒否することができました。 https://example.com/robots.txtに『Allow: /ok_path/』『Disallow: /ng_path/』などと書くことで制御することができます。
このrobots.txtの仕組みを拡張し、学習用クローラに対して許可・拒否を伝えられるようにするのが『Associating AI Usage Preferences with Content in HTTP』(*2)です。robots.txtに『Content-Usage: train-ai=n』と記載することで、学習目的のクローリングを拒否することができます。また、この提案仕様ではHTTPレスポンスヘッダを介してクライアントに通知する方法も定義されています。
robots.txt拡張で利用する語彙を定義する『A Vocabulary For Expressing AI Usage Preferences』(*3)も合わせて標準化が進められています。定義されている語彙の例としてtrain-ai、searchなどがあります。現在もユースケースについて議論が行われており、整理が進むことでしょう。
(*1) https://datatracker.ietf.org/doc/html/rfc9309
(*2) https://www.ietf.org/archive/id/draft-ietf-aipref-attach-04.html
(*3) https://www.ietf.org/archive/id/draft-ietf-aipref-vocab-05.html
Web Bot Auth (webbotauth) WG
Web Bot Auth (webbotauth) WG も2025年10月に結成された新しいWGになります。このWGには、WebにアクセスするBot (AIエージェント)が、本当にある組織、またはある特定のプロダクトのBotであることを識別・認証したいという背景があります。
モチベーションの一つの例として、CDNベンダーであるCloudflareは『Introducing pay per crawl: Enabling content owners to charge AI crawlers for access』(*4)という記事を書いています。これは、Webのコンテンツオーナーがクローリングを行うAIエージェントに対して課金を行えるようにする仕組みです。彼らは、この仕組みについてもIETFにDraftを提出しています(*5)。AI用途の学習を行う企業に課金をするためにも、このようにWebにアクセスするBot (AIエージェント)を適切に識別する必要が出てきています。
まだまだできたばかりのWGであり、ユースケースの収集をしている段階です。
(*4) https://blog.cloudflare.com/introducing-pay-per-crawl/
(*5) https://www.ietf.org/archive/id/draft-meunier-web-bot-auth-architecture-00.html
ユーザーの代理としてのAIエージェント
WGとしての活動はまだ目立ってはありませんが、AIエージェントに関してもう一つのテーマとしてあるのが、権限委譲の議論です。実際の人間がAIエージェントに権限を委譲する仕組みの提案の例として『AAuth – Agentic Authorization OAuth 2.1 Extension』(*6)があります。このように、人間がAIエージェントに権限を委譲すること、もしくは逆にWebサイト側としてはアクセスしてきたAIエージェントが人間の代理であることを正しく識別するというのは、今後課題となる一つのテーマなのではないかと思います。
(*6) https://datatracker.ietf.org/doc/draft-rosenberg-oauth-aauth/
Future of the Open Web サイドミーティング
もう一つ、WebとAIという観点で重要な議論があります。IETFの会合ではサイドミーティングとして、有志者によって標準化の前段階となるような現在抱えている課題の共有などが行われます。今回IETF 124で行われたサイドミーティングの一つに、『Future of the Open Web』(*7)というものがありました。
このサイドミーティングは、Mark Nottinghamさんの呼びかけで開催されました。Mark NottinghamさんはIETFでは長らくHTTP WGのチェアも務め、W3C Technical Architecture Group のポジションも担う人物です。
ミーティングでは、前提とする『Open Web』が何を指すか共通認識はないとしつつ、出発点としていくつかの点を挙げています。例えば、現在のWebコンテンツは公開することで、検索エンジンにクロールされ、ユーザーがWebサイトにアクセスしにきてくれることが望まれます(いくつかのコンテンツはログインする必要もありますが)。また、Webコンテンツの一部はWeb広告の収入を得ることで、無料でWebコンテンツが提供されている点も挙げられています。
私見では、『Open Web』とは誰しもがWebコンテンツにアクセスでき、Webコンテンツ事業者も利益を享受しながらコンテンツを提供できるというエコシステムを指していると理解しました。
WebへのアクセスがAIエージェントによって行われるようになったら、このエコシステムは維持されるのでしょうか？という問いが今回のサイドミーティングの一つであるようです。Webコンテンツ事業者は、広告を閲覧しないAIエージェントが支配的になった際にコンテンツを作り続けるのでしょうか？検索エンジン事業者は、AIエージェントの利用が増えてもWebコンテンツのクローリングを引き続き行うのでしょうか？
OpenなWebというエコシステムによりインターネットおよび世界が発展してきた中で、AIの登場はこのエコシステムにどのような影響を及ぼすのか、潜在的課題を投げかけているように感じました。
もちろん議論の中では、Open Webの定義の話や、Web Bot Authのような要素技術、エンドユーザーの年齢認証、プライバシーの問題など幅広くコメントが行われています。
サイドミーティングという限られた時間の中で結論らしいものは出てはいませんが、Webの一端を担う標準化の場でも高い課題感を持って議論が行われたことがわかります。IETFの翌週、W3Cの技術会合であるTPAC (Technical Plenary and Advisory Committee)でも、同様にMark NottinghamさんによるBreakoutセッションが行われました。そこでも、おおむね似たような議論が行われました。詳しくは、議事録をご覧いただければと思います。
終わりに
AIは急速に進化しており、Webの要素技術としても足りていないピースの標準化が急速に進められています。一方で、Webのエコシステムや法整備を含めそ
の影響は未知数なところがあり、各所で議論が進められている状況です。インターネットおよびWebが引き続き、健全かつ持続的に発展していくように、引き続き活動し、その動きをまたご紹介できればと思います。