[EP47] DGX Sparkが4台に増殖:DeepSeek V4.1 Flashを丸ごと動かしてみたら、話はAI時代のエンジニアの仕事へ
アメリカ・シアトル郊外で働く日本人エンジニア、コモダ&イワイが、DGX Spark沼の続編を語る回。イワイのDGX Sparkが2台から4台に増え、ネットワークスイッチまで増えていました。 目的は、前回話題にしたDeepSeek V4.1 Flash 1017を動かすこと。公式版は510GBで、2台では載りません。有志が4ビットに量子化した275GB版を使い、4台で毎秒90トークン超が出るように。4台構成のカギは、1台あたり2本しかないネットワークポートです。3台までは三角形に直結できますが、4台では足りないので、スイッチかリング状の接続が要ります。高いと思っていたスイッチが約1,200ドルの新製品で出たことが、4台に踏み切る決め手になりました。さらに、一晩かけて「2台(2.8ビット)と4台(4ビット)でどれだけ差が出るか」を自前のベンチマークで比較。一般的なベンチマークではほぼ差がない一方、業務のタスクでは2台だと半分ほど不合格になる、という結果でした。 後半は、ローカルLLMからAI時代のソフトウェア開発の話へ。AIにできることが増えるほど、人間はより難しいこと(アーキテクチャの判断など)をやらせたくなり、そこが新たなボトルネックになる。1年前とは真逆のことを言っている自分に気づくイワイ。誰もレビューしないまま継ぎ足されたコードが、ライブラリを使わずAWSの署名を自前で実装していた話や、CIに毎回10分近くかかるテストの話から、「全体を見て棚卸しを指示する」というメタな仕事は当面人間に残るのでは、と語ります。最後は、1つのポートから2本に分かれるQSFP-DDケーブルと、最大8台・1TBまで広げられるスイッチの話で締めくくります。 ■ 訂正・補足 -------------------------------------------------------------------------------- 収録内容について、AIから以下の訂正・補足があります(2026年11月9日確認)。 【訂正】 ・07:02/08:00 ネットワークとメモリの速さ:「メモリとネットワークがほぼ同じくらいのスピード」と話していますが、実際にはかなり差があります。DGX Sparkのメモリ帯域は273GB/s(ビットに直すと約2,200Gbps)です。一方、ネットワーク(ConnectX-7)は200Gbpsなので、メモリの約10分の1です。ただし、普通のPCのDDR5と比べるなら、話のとおりほぼ同じです。DDR5-6400のメモリ1本(1チャネル)の帯域は51.2GB/s(約410Gbps)で、スイッチの400Gポートとほぼ同じ速さです。なお、200Gbpsが1ポートあたりか2ポート合計かは、資料によって書き方が分かれています。[7] 【補足】 ・01:02 DeepSeek V4.1 Flash 1017:2026年10月17日に公開された重みの更新版です。公式のチェックポイントは約511GBで、話の中の「510GB」はそのとおりです。本体552B(+Engramメモリ196B)のMoEで、1トークンあたりに動くのは入力8B/出力16Bです。ライセンスはMITです。[1] ・01:33 公式版に必要な環境:DeepSeekのリファレンスコードはGPU 8台でのテンソル並列が前提です。vLLMの推奨構成ではメモリが最低614GB必要で、4台のDGX Spark(512GB)には公式版そのままでは載りません。今回のように量子化版を使うのはそのためです。[1] ・02:50/08:32 ネットワークスイッチ:話に出たスイッチはMikroTik CRS804 DDQです。400GのQSFP56-DDポートが4つあり、定価は1,295ドルです。2026年1月ごろに発売されました。メーカーの想定用途はAI・GPUクラスタや小中規模のデータセンターで、「家庭用」ではありません。[3][4] ・03:00 投資額:定価で計算すると、DGX Spark 2台の追加(6,950ドル×2)とスイッチ(1,295ドル)で約1万5,200ドルです。 ・03:38 台数と接続方法:NVIDIAの公式手順では、2台は直結、3台はリング状の直結、4台以上はスイッチ経由です。[5] ・04:31 リング構成の速さ:「スイッチを使ったときより10〜20%遅い」はおおむねそのとおりです。NVIDIAの2026年10月22日のベンチマーク(Qwen3.8-27B)では、4台のリング構成は毎秒32.8トークン、スイッチ構成は36.3トークンで、約10%遅い結果でした。8台になると差は約24%に広がります。[5] ・06:01 Ziply Fiberの速さ:Ziply Fiberの家庭向けプランには10Gbpsや50Gbps(月900ドル)もあります。400Gbpsは、その最上位プランの8倍です。[9] ・11:32 生成速度:同じDGX Spark 4台(TP=4)でDeepSeek V4.1 Flashを動かした別のユーザーは、1本あたり最大で毎秒77トークンと報告しています。話の中の「毎秒92トークン」は、それより速い部類です。[6] ・13:32 先読みによる高速化:「トークンを先に予測して、合っていたらそのまま使う」という仕組み(投機的デコーディング)は話のとおりです。ただし、DeepSeek V4.1 Flashが使っているのはMTP(マルチトークン予測)ではなく、その後継としてDeepSeekが2026年6月に発表した「DSpark」です。MTPが1回に1トークンずつ先読みするのに対し、DSparkは5トークンをまとめて先読みします。DeepSeekの発表では、MTPより60〜85%速くなったとされています。[2][12] ・21:30 ベンチマークの中身:JMMLUは早稲田大学が作った日本語版のMMLU(多分野の知識を問う選択問題)です。MGSMは、小学校レベルの算数の文章題250問を10言語に訳した、Googleのベンチマークです。[10][11] ・24:04 中間選挙とデータセンター:2026年11月3日の米中間選挙では、電気代の上昇などからデータセンターが大きな争点になりました。データセンターの新設を止める「モラトリアム」を掲げる候補者が党派を問わず出ており、ニューヨーク州は1年間のモラトリアムを導入しています。[8] ・34:53 AWSの署名:AWSのAPIで使う署名(Signature Version 4)は、公式のSDK(boto3など)が自動で行います。自前で実装すると、話のとおり、仕様の変更や脆弱性への対応を自分で追う必要が出てきます。 ・39:15 1ポートから2本出るケーブル:QSFP-DDの「DD」はダブルデンシティ(2倍の密度)の意味です。通常のQSFPは4レーンですが、QSFP-DDは8レーンあります。CRS804 DDQは、400Gのポート1つを200G×2本に分けられます。DGX Sparkのネットワークは200Gbpsなので、1ポートで2台をつなげます。[3] ・40:40 8台・1TB:ポート4つ×2台で最大8台、128GB×8台でメモリは合計1TBになり、計算は合っています。NVIDIAは2026年10月22日に8台構成を正式にサポートしました。8台にするならスイッチの使用を推奨しています。[5] 【参考リンク】 [1] vLLM Recipes:DeepSeek V4.1 Flash(チェックポイントのサイズ・推奨構成) https://recipes.vllm.ai/deepseek-ai/DeepSeek-V4.1-Flash [2] SGLang Cookbook:DeepSeek V4.1(MTPなし・DSpark) https://docs.sglang.io/cookbook/autoregressive/DeepSeek/DeepSeek-V4_1 [3] MikroTik:CRS804 DDQ 製品ページ(仕様・価格) https://mikrotik.com/product/crs804_ddq [4] ServeTheHome:MikroTik CRS804 DDQ の発表 https://servethehome.com/mikrotik-crs804-ddq-announced-4-port-400gbe-switch [5] Petronella Technology Group:DGX Spark 4台はスイッチかリングか(NVIDIAのベンチマーク・公式サポート) https://petronellatech.com/blog/4-dgx-sparks-switch-or-switchless-ring/ [6] NVIDIA Developer Forums:DeepSeek V4.1 Flash を DGX Spark 4台で動かした報告 https://forums.developer.nvidia.com/t/deepseek-v4-1-flash-552b-moe-on-4x-dgx-spark-tp4-77-2-tok-s-c1-on-peak-52-code-72-tok-s-on-a-warm-code-run-47-math-39-reasoning-23-prose/382897 [7] NVIDIA Docs:DGX Spark ハードウェア概要(メモリ帯域・ネットワーク) https://docs.nvidia.com/dgx/dgx-spark/hardware.html [8] Brookings:データセンターが2026年中間選挙の争点になった理由 https://www.brookings.edu/articles/why-data-centers-are-a-top-issue-in-the-2026-midterms/ [9] Ziply Fiber:50 Gig プラン https://ziplyfiber.com/blogs/article/50-gig [10] GitHub:JMMLU(早稲田大学) https://github.com/nlp-waseda/JMMLU [11] GitHub:MGSM(Google Research) https://github.com/google-research/url-nlp/tree/main/mgsm [12] DeepLearning.AI The Batch:DeepSeek の DSpark https://www.deeplearning.ai/the-batch/deepseeks-dspark-gains-velocity 00:00 オープニング:DGX Sparkが増殖、沼の続編 00:50 4台にした理由:DeepSeek V4.1 Flash 1017(510GB)を動かしたい 02:50 新しく買ったネットワークスイッチ 03:38 なぜ4台だとスイッチが要るのか:ポートは2本、リング構成という手も 05:09 家庭用AIクラスタ向けスイッチ、400Gbpsはメモリと比べてどれくらい? 08:32 4台をためらっていた理由:数千ドルのスイッチと、1,200ドルの新製品 09:22 有志が4ビットに量子化した275GB版で動かす 11:32 毎秒92トークン:「レシピ屋さん」たちのスピード競争とMTP 13:54 Claudeとの差は?DeepSeekが書いたコードを読んでみる 16:34 大量のAIのコードを人間はどうレビューするか 17:53 業務のMCPツールのバックエンドに使ってみる 19:00 2台 vs 4台:一晩回した自前ベンチマーク 21:05 業務タスクでは4台が必要、一般ベンチマークではほぼ差なし 23:00 フロンティアモデルとの差、中間選挙とデータセンター 25:24 できることが増えるほど期待値も上がる:アーキテクチャの判断がボトルネックに 29:01 1年前と真逆のことを言っている 30:31 フロンティアモデルとローカルLLMの棲み分け、分野特化モデルの可能性 32:02 2台か4台か:何をやらせるかの判断は人間に残る 33:16 教育の課題:コードを書いたことのない人はどうなる? 34:31 AIスロップの実例:AWS署名の自前実装と車輪の再発明 35:39 静かに壊れる依存関係と「棚卸し」 37:03 基本はOpus 5.5:CIに10分かかるテストの話 38:31 全体を見る「メタ」な仕事は人間に 39:13 1ポートから2本出るケーブル:QSFP-DDの仕組み 40:30 まだ4台つなげる:最大8台・1TBまで広げられるスイッチ 41:05 エンディング トピックリクエスト、お問い合わせ、ご意見は以下フォームからお送りください。 https://forms.gle/V1Jx5K27TN7ht5oC9 https://stihahi.github.io/satoshiya.podcast/
- Transcript