ตอนนี้ infrastructure ของผมแทบจะ 99% self-hosted เองทั้งหมด — Gitea ก็ self-host, runners ก็อยู่บนเครื่องตัวเอง, database ก็วิ่งใน local network, แม้แต่ AI inference (vLLM) ก็รันอยู่บน DGX Spark ที่บ้าน
บทความนี้จะเล่าว่าทำไมถึงเลือกแบบนี้ แลกอะไรมาบ้าง และเล่าประสบการณ์จริงจากการใช้งานว่าเป็นยังไง
ผมรัน LLM เองบน homelab มาสักพัก
เริ่มจาก llama.cpp บนเครื่องสเปกต่ำ ถามอะไรก็ตอบได้
แล้วขยับมา vLLM ที่ throughput สูงกว่า รับ request พร้อมกันได้มากกว่า
ทุกอย่างดูดี จนกระทั่งวันหนึ่งเพื่อนร่วมงานถามว่า
"ขอใช้ด้วยได้ไหม?"
ผมก็เลยเปิด port ให้เพื่อนยิง request ตรงเข้ามา
ผ่านไปสักพัก ก็เริ่มเจอปัญหา
ไม่รู้ว่าใครใช้ไปเท่าไหร่ — ไม่มี log ไม่มี metric รู้แค่ GPU ทำงานหนักขึ้น
ไม่มี API key แยกคน — ทุกคนใช้ key เดียวกัน ถ้า key หลุดก็จบเลย
ไม่มี rate limit — มีคนส่ง request ต่อเนื่อง ทำให้คนอื่นรอคิวนาน
ไม่มี cache — คำถามซ้ำๆ ถูกส่งไป LLM ทุกครั้ง เสียทรัพยากรโดยไม่จำเป็น
backend ล่มที ทุกอย่างก็หยุดทำงาน — ไม่มี fallback ไม่มี retry
ถ้าจะเขียนระบบจัดการเองก็ทำได้ แต่ต้องมานั่งทำ auth, logging, rate limit, cache, dashboard...
ไม่ใช่งานที่ผมอยากทำ
แค่อยากให้ทีมใช้ LLM ได้สะดวก โดยที่ยังคุมทุกอย่างได้
เรื่องมันเริ่มจากความรำคาญเล็กๆ
ทุกครั้งที่เปิด session ใหม่กับ AI ผมต้องเล่าเรื่องเดิมซ้ำๆ - ใช้ Arch Linux นะ, ชอบ self-hosted tools, บล็อกอยู่ที่ blog.2my.xyz, เขียนเรื่อง Linux กับ homelab เป็นหลัก ทุกครั้ง AI ก็จะทักเหมือนเพิ่งเจอผมครั้งแรก
มันเหมือนมีเพื่อนคุยด้วยทุกวัน แต่เพื่อนคนนั้นความจำสั้นมาก