Yakan AI Books

AI時代を生き抜く実践ノート：LLMエージェントの可能性とセキュリティリスク

ai-survival

  • #AI
  • #LLM
  • #セキュリティ
  • #エージェント
  • #Claude
  • #脆弱性

AI時代を生き抜く実践ノート：LLMエージェントの可能性とセキュリティリスク

今日の3大トピック概要

今週の注目は「LLMエージェントが道具から脅威にもなりうる」という転換点だ。企業はコスト管理に追われ、セキュリティ研究者はAIが自律的にゼロデイを発見・悪用できる段階に達したと警告している。

1. AI：datasette-agentで学ぶ「ヒューマン・イン・ザ・ループ」設計

何が起きたか

Simon Willison が datasette-agent 0.2a0 をリリースした。LLMがSQLクエリを生成・実行できるが、クエリの保存には人間の承認が必要という設計になっている点が今後のAIエージェント設計の参考になる。

なぜ重要か

「LLMに何でもやらせる」設計から「重要操作には人間の確認を挟む」設計へのシフトが進んでいる。これは企業がAIを安全に導入するための基本パターンだ。

所要時間：15分　今すぐ試せる手順

  1. pip install datasette datasette-agent でインストール
  2. SQLiteファイルを用意して datasette mydb.sqlite --plugin datasette-agent で起動
  3. チャット欄に「〇〇テーブルの件数を教えて」と入力
  4. エージェントがSQL生成→実行→結果返却の流れを確認
  5. クエリ保存を試みると「承認しますか？」のプロンプトが出ることを確認

今日から試せること: 自分のCSVデータをSQLiteに変換し、datasette-agentで自然言語クエリを体験してみよう。sqlite-utils で sqlite-utils insert data.db table data.csv --csv で即変換できる。

2. ソフトウェアテクノロジー：AI開発ツールのコスト管理時代へ

何が起きたか

Uberが全社員のAIコーディングツール（Claude Code、Cursor等）の月次トークン消費を $1,500/人 に上限設定した。同時期にGoogleはGemini CLIのサブスクリプション連携を6月18日に廃止し、クローズドソースの新CLIに切り替えると発表。また Claude Fable 5 が正式リリースされた。

エンジニアへの実践的影響

ツール 変化
Claude Code / Cursor 企業利用に月額上限が入り始める
Google Gemini CLI 6/18以降は旧CLIが機能停止、新CLI (Antigravity) に移行必須
Claude Fable 5 新モデルで性能向上、API経由で利用可能

所要時間：10分　コスト削減手順

  1. claude /usage で今月のトークン消費を確認
  2. 長いファイル全体を貼らず、関係する関数だけを渡す習慣をつける
  3. CLAUDE.md に「このプロジェクトの技術スタック」を書いておき、毎回説明を省く
  4. 繰り返しのバックグラウンド処理は --dangerously-skip-permissions ではなくフックで自動承認
  5. 月次でコスト確認の習慣化（Cursor/Claude Code どちらも使用状況ダッシュボードあり）

今日から試せること: Claude Codeで /config を開き、モデルをFable 5に変更して体感速度を確認する。

3. セキュリティ：LLMチームによるゼロデイ自動悪用が現実に

何が起きたか

2026年のセキュリティ研究の最重要テーマが「LLMエージェントが自律的に脆弱性を発見・悪用する」ことだ。OWASP GenAI Q1 2026レポートによると、LLMチームはゼロデイを自律発見・武器化する閾値を超えた。さらに実際の攻撃事例として、LLMエージェントが侵入後にAWS認証情報を収集しSecretsManagerへAPIコールするという後攻撃への使用が記録された。

数字で理解する脅威規模

所要時間：20分　自衛のための確認手順

  1. 使っているMCPサーバーのリストを確認（~/.claude/settings.json の mcpServers）
  2. 各MCPに「本当に必要な権限だけ」があるか見直す（ファイル書き込み権限は特に注意）
  3. CLAUDE.md に「このエージェントに触らせてはいけないディレクトリ」を明記
  4. LLMに外部URLを直接フェッチさせる場合は必ず人間確認を挟む設計にする
  5. OWASP Top 10 for LLM Applicationsを一読（無料PDF公開中）

今日から試せること: 自分のClaude Code設定を開き、不要なMCPサーバーを無効化する。

AIによる考察

2026年前半のAI業界を一言で表すなら「実用化の摩擦」だ。LLMの能力は急速に向上しているが、企業はコスト・セキュリティ・ガバナンスという三つの摩擦に直面している。

Uberの$1,500上限はコスト摩擦の象徴だが、同時に「AIツールが業務に深く組み込まれた証拠」でもある。制限をかけるほど使われているのだ。

セキュリティ面では、LLMが攻撃ツールになりうることは理論から実証段階に移った。しかし同じLLMが防御側ツール（AutoPentest等）としても機能する。この「攻防対称性」をどう制度設計するかが今後の課題だ。

datasette-agentの「保存には承認必須」という設計哲学は示唆に富む。AIを信頼しつつ、不可逆な操作には人間の確認を挟む。これがAI時代のエンジニアリングの基本姿勢になるだろう。

関連記事 3本

1. datasette-agent 0.2a0リリース

Simon Willisonが開発したDatasette用LLMエージェントの最新版。SQLクエリ生成・実行・保存機能を持ち、保存時に人間承認を必須とするヒューマン・イン・ザ・ループ設計が特徴。エージェント設計の実践例として参考になる。 🔗 https://simonwillison.net/2026/Jun/10/datasette-agent/

2. UberがAIコーディングツールの使用上限を設定

全社員のClaude Code・Cursorなどのトークン消費を月$1,500に制限。企業レベルでのAIコスト管理が本格化していることを示す事例。コスト最適化の実践的ヒントも掲載。 🔗 https://simonwillison.net/2026/Jun/3/uber-caps-usage/

3. OWASP GenAI エクスプロイト・ラウンドアップ Q1 2026

LLMを悪用した攻撃の最新動向をOWASPがまとめたレポート。ゼロデイ発見から後攻撃への利用まで実例付きで解説。AIセキュリティを学ぶための必読資料。 🔗 https://genai.owasp.org/2026/04/14/owasp-genai-exploit-round-up-report-q1-2026/

参考