4 posts tagged with "hardware"

บันทึก — 25 สิงหาคม 2569 — เช้ามืด เจอกระทู้น่าสนใจ

มีคนโพสต์ใน r/LocalLLM ถามคำถามที่ผมเห็นแล้วต้องหยุดอ่าน: "I have about $10,000 for local AI hardware. would you buy two DGX Sparks or something else?" — เป็นคำถามที่ดีมาก เพราะมันไม่ได้ถามแค่ "ซื้ออะไรดี" แต่ถามเชิง timing: "ซื้อตอนนี้ หรือรอ"

ผมเลยลองนั่งอ่านคอมเมนต์ทั้งหมด + เทียบกับบล็อก deep-dive ที่คนเขียนไว้จริงๆ ทั้ง Orhan Yildirim (256GB cluster บนโต๊ะ) และ Conselara Labs (Ray cluster + NCCL) — แล้วสรุปเป็น 3 มุมมองที่ขัดแย้งกัน

บันทึก — 25 สิงหาคม 2569 — เช้ามืด เจอกระทู้ที่อ่านแล้วยิ้ม

คนใน r/LocalLLM โพสต์เรื่องการเอา Tesla V100 PCIe 32GB HBM2 ECC (การ์ด datacenter อายุ 8 ปี) มารัน Qwen3.8-27B Q3_K_M ที่ 23.59 tok/s ด้วย 150W + 256K native context — แถมใช้ พัดลมเซนตริฟูกัลติดด้วย Velcro tape แก้ปัญหา passive cooling

โพสต์นี้น่าสนใจเพราะตรงข้ามกับ discourse เรื่อง "ต้องซื้อ hardware ใหม่":

• ราคา V100 32GB ตอนนี้ $150-600 (ราคา second-hand)
• Performance ต่อวัตต์ดีกว่าที่คาด (sweet spot ที่ 150W ไม่ใช่ 200W)
• ใช้ fp16 KV cache + flash-attn + draft-mtp → 160K+ context จริง
• แต่ก็มี honest critique จาก ketosoy (Top 1%) ว่า 100W benchmark อาจมีปัญหา

บันทึก — 23 สิงหาคม 2569 — บ่ายโน่น แก้ปัญหาเสร็จพอดี

เรื่องมันเริ่มจากผมเพิ่งเอา DGX Spark ขึ้นมาตั้งบนโต๊ะเมื่อเช้า ยังไม่ทันได้รัน model อะไรเลย — แค่ SSH เข้าไปเช็ค nvidia-smi ก็เห็น GPU GB10 ตรงตามสเปก, driver 580.173.02, CUDA 13.0 พร้อมใช้

แล้วก็เปิด NVIDIA Developer Forums ดู ด้วยความอยากรู้ว่า "คนอื่นใช้กันยังไง"

หลายองค์กรกำลังมองหา AI Server เป็นของตัวเอง คำถามแรกที่เกิดขึ้นคือ "ซื้ออะไรดี?" ผมเองก็เริ่มจากจุดนี้ — ได้ DGX Spark มาวางบนโต๊ะทำงาน ใช้คนเดียวลื่นไหลดี แต่พอถามว่า "แล้วถ้าให้พนักงานหลายคนใช้งานผ่าน API ล่ะ?" คำตอบคือต้องกลับมาคิดใหม่ทั้งหมด

DGX Spark คือเครื่อง AI ขนาดเล็กที่ NVIDIA ออกแบบมาเพื่อ developer — ชิป GB10 Grace Blackwell หน่วยความจำรวม 128 GB bandwidth 273 GB/s ราคา ~฿165,000 สเปกดูดีจนลืมถามว่า ถ้าต้องรองรับผู้ใช้หลายคนในองค์กรจะเป็นยังไง ข้อจำกัดที่ซ่อนอยู่ก็ปรากฏชัดขึ้นทันที

บทความนี้สรุปจากประสบการณ์ตรงและข้อมูลวิจัย เพื่อช่วยตอบคำถามว่า: ถ้าอยากได้ AI Server ในองค์กร เราต้องพิจารณาอะไรบ้าง ตั้งแต่จำนวนผู้ใช้ ความต้องการของโมเดล ไปจนถึงงบประมาณจริง

ก่อนหน้านี้ผมเขียนถึงประสบการณ์ตัดสินใจซื้อ DGX Spark ส่วนตัว — 5 red flags และ 3 checklist ก่อนจ่ายเงินกว่าแสนหกหมื่นบาท คราวนี้เรามาดูมุมที่กว้างขึ้น: พอเอาเครื่องเดียวไปรองรับทีมหรือองค์กร มันเจอข้อจำกัดอะไรบ้าง และถ้าต้องเลือกฮาร์ดแวร์ระดับองค์กรจริงๆ ต้องคิดอะไรบ้าง

— DGX Spark: 5 Red Flags + 3 Checklist ก่อนจ่าย 165,000 บาท