Tesla V100 32GB + Qwen3.8-27B ที่ 23.6 tok/s และ 256K context — เมื่อ hardware อายุ 8 ปียังคุ้มค่า + power tuning + honest Velcro story
· 11 min read
บันทึก — 25 สิงหาคม 2569 — เช้ามืด เจอกระทู้ที่อ่านแล้วยิ้ม
คนใน r/LocalLLM โพสต์เรื่องการเอา Tesla V100 PCIe 32GB HBM2 ECC (การ์ด datacenter อายุ 8 ปี) มารัน Qwen3.8-27B Q3_K_M ที่ 23.59 tok/s ด้วย 150W + 256K native context — แถมใช้ พัดลมเซนตริฟูกัลติดด้วย Velcro tape แก้ปัญหา passive cooling
โพสต์นี้น่าสนใจเพราะตรงข้ามกับ discourse เรื่อง "ต้องซื้อ hardware ใหม่":
- ราคา V100 32GB ตอนนี้ $150-600 (ราคา second-hand)
- Performance ต่อวัตต์ดีกว่าที่คาด (sweet spot ที่ 150W ไม่ใช่ 200W)
- ใช้ fp16 KV cache + flash-attn + draft-mtp → 160K+ context จริง
- แต่ก็มี honest critique จาก ketosoy (Top 1%) ว่า 100W benchmark อาจมีปัญหา