ทดสอบ reasoning_effort × thinking toggle × chat_template_kwargs บน deepseek-v4-flash-0731 ผ่าน vLLM local serving — 7 scenarios พบว่า serving นี้มี 2 buckets effort (ไม่ใช่ 5), thinking.type ถูก ignore, แต่ chat_template_kwargs.thinking คุมเปิด/ปิด reasoning ได้จริง
บันทึกกลางดึก — ทดลองปรับ parameter ของ DeepSeek-V4-Flash-0731 บน vLLM เพื่อแก้ปัญหา model ติด loop ใน profile agent — พร้อมสิ่งที่ค้นพบจากการเทสจริง
เรื่องของการใช้ prompt ง่ายๆ อย่าง "Generate an SVG of a pelican riding a bicycle" มาทดสอบความสามารถของโมเดล LLM ในการสร้าง SVG — ที่มาจาก Simon Willison และกลายเป็น benchmark ไม่เป็นทางการที่นิยมใช้
จากฟังก์ชันประกอบในคณิตศาสตร์ ม.3 สู่การเขียนโปรแกรม JavaScript แบบ Functional — บทความนี้เล่าว่าความรู้เก่าๆ สามารถนำมาใช้ได้จริงในงาน
ทดสอบ throughput และ latency ของ vLLM ที่รัน Qwen3.6-35B-A3B-NVFP4 บน NVIDIA DGX Spark (GB10) ด้วย 1, 2, 4, 6, 12 concurrent requests — วัด aggregate output TPS, per-request TPS และ latency
เปิด OpenAPI schema ของ vLLM 0.23.1 เพื่อดู params ทั้งหมดที่ /v1/chat/completions รองรับ — 52 ตัว แบ่งเป็น OpenAI standard กับ vLLM extension และวิธีส่งผ่าน LiteLLM extra_body
เรื่องของการ deploy Ornith-1.0-35B-NVFP4 บน DGX Spark (GB10) แล้วเจอบทเรียนเรื่อง enforce-eager กับ CUDA graphs, การเลือก FP8 vs NVFP4, และการเชื่อมต่อผ่าน LiteLLM
Ornith-1.0-35B-NVFP4 1 ตัว สร้าง 10 profiles ผ่าน LiteLLM Proxy — ใช้ reasoning_effort 7 levels แทน thinking on/off ทำให้คุมพฤติกรรมได้ละเอียดกว่า Qwen
เรื่องของการ tune gpu_mem 0.50 → 0.75 จนเจอจุดสมดุลระหว่าง throughput กับ RAM safety
ย้ายจาก gpu_memory_utilization=0.5 → 0.7 บน Qwen3.6-35B-A3B-NVFP4 ผ่าน concurrency 6 ได้ throughput เพิ่ม 20% แต่ single user กลับช้าลง — เล่าเบื้องหลังการ tune จริง ๆ บน DGX Spark