4 posts tagged with "ai"

intro​

ผมรัน LLM เองบน homelab มาสักพัก

เริ่มจาก llama.cpp บนเครื่องสเปกต่ำ ถามอะไรก็ตอบได้

แล้วขยับมา vLLM ที่ throughput สูงกว่า รับ request พร้อมกันได้มากกว่า

ทุกอย่างดูดี จนกระทั่งวันหนึ่งเพื่อนร่วมงานถามว่า

"ขอใช้ด้วยได้ไหม?"

ผมก็เลยเปิด port ให้เพื่อนยิง request ตรงเข้ามา

ผ่านไปสักพัก ก็เริ่มเจอปัญหา

ไม่รู้ว่าใครใช้ไปเท่าไหร่ — ไม่มี log ไม่มี metric รู้แค่ GPU ทำงานหนักขึ้น

ไม่มี API key แยกคน — ทุกคนใช้ key เดียวกัน ถ้า key หลุดก็จบเลย

ไม่มี rate limit — มีคนส่ง request ต่อเนื่อง ทำให้คนอื่นรอคิวนาน

ไม่มี cache — คำถามซ้ำๆ ถูกส่งไป LLM ทุกครั้ง เสียทรัพยากรโดยไม่จำเป็น

backend ล่มที ทุกอย่างก็หยุดทำงาน — ไม่มี fallback ไม่มี retry

ถ้าจะเขียนระบบจัดการเองก็ทำได้ แต่ต้องมานั่งทำ auth, logging, rate limit, cache, dashboard...

ไม่ใช่งานที่ผมอยากทำ

แค่อยากให้ทีมใช้ LLM ได้สะดวก โดยที่ยังคุมทุกอย่างได้

เรื่องมันเริ่มจากความรำคาญเล็กๆ

ทุกครั้งที่เปิด session ใหม่กับ AI ผมต้องเล่าเรื่องเดิมซ้ำๆ - ใช้ Arch Linux นะ, ชอบ self-hosted tools, บล็อกอยู่ที่ blog.2my.xyz, เขียนเรื่อง Linux กับ homelab เป็นหลัก ทุกครั้ง AI ก็จะทักเหมือนเพิ่งเจอผมครั้งแรก

มันเหมือนมีเพื่อนคุยด้วยทุกวัน แต่เพื่อนคนนั้นความจำสั้นมาก

ผมมี ThinkPad T14 เป็นเครื่องหลัก รัน Hermes Agent คุยผ่าน Telegram ทุกวัน จน Honcho memory เริ่มมีข้อมูลเยอะขึ้นเรื่อย ๆ — AI จำผมได้จริง ๆ ไม่ใช่แค่จำ facts แต่เข้าใจ context

แล้ววันหนึ่งก็คิดขึ้นได้: ผมมี X13 อีกเครื่อง มี server Proxmox ใน homelab อีกตัว ทำไมไม่ให้ทุกเครื่องมี AI assistant ของตัวเองบ้าง?

Intro​

ช่วงหลังผมเริ่มกลับมาเขียน Blog อีกครั้ง

ทั้งที่ก่อนหน้านี้แทบหยุดเขียนไปเลย

ไม่ใช่เพราะหมดเรื่องเขียน แต่เพราะเริ่มรู้สึกว่าโลกเปลี่ยนเร็วมาก

AI เขียนได้ดีขึ้น สรุปเก่งขึ้น เรียบเรียงดีกว่าเดิมมาก

จนบางช่วงก็เริ่มคิดว่า

"เรายังจำเป็นต้องเขียนอยู่ไหม ?"

แต่หลังจากหายไปพักใหญ่ สุดท้ายก็เริ่มกลับมานั่งเขียนอีกครั้ง

และรอบนี้ ความรู้สึกมันไม่เหมือนเดิมแล้ว