Apps & websites

DeepSeek v4.1 optimized to 270 tok/s on 4 RTX PRO 6000

Hikari used Claude to investigate CUDA kernel bottlenecks for DeepSeek v4.1 flash, reaching 270 tokens/s single-stream with DSpark and 7700 tokens/s prefill on code. Four RTX PRO 6000 GPUs can hold 5 million tokens of context in FP8.

Made with

Claude, DeepSeek v4.1

Posted

17 October 2026

Hikari∣LocalLLM⚡@Hikari_07_jp

Deepseek v4.1 flash 1017を最適化するためだけにClaudeを契約してCUDAカーネルのボトルネックを調べて改善させてる。
カーネル改善ループが始まりつつあって、現時点でDSpark込のシングルストリーム270tok/sくらいは出てるよ。Prefillはコードで131kが7700tok/s
Deepseek V4.1はKVキャシュの圧縮率がおかしくて、RTX PRO 6000を4つ用意してあげるとFP8で5Milion ctxくらい入るんだよね。256kのエージェントが20並列で推論できる。
もうそろそろ寝るから今日の午後まで推論最適化ループを回して、起きたらAblitrated作業に入る予定だよ。Ablitratedは丁寧にやりたいので、来週の中頃にリリースすると思う。

お楽しみに〜！

17 Oct 2026View on X