23 posts tagged with "llm"

หลังจาก optimize DGX Spark และ debug LiteLLM มาหลายวัน ผมเริ่มเข้าใจว่า "AI infrastructure" ไม่ได้จบแค่ตรงรัน model — มันคือการออกแบบ layer ทั้งหมด ตั้งแต่ model serving → routing → agent framework → tool integration และหนึ่งในเรื่องที่ developer หลายคน (รวมถึงผม) ต้องเรียนรู้เพิ่มคือ Model Context Protocol (MCP) — มาตรฐานที่ Anthropic สร้างขึ้นเพื่อให้ agent คุยกับ tool ได้แบบเสียบแล้วใช้ได้เลย

วันนี้จะมาเล่าเรื่อง MCP architecture แบบครบวงจร — ตั้งแต่ transport types, การออกแบบ server, การออกแบบ client, ไปจนถึงการเชื่อมต่อกับ self-hosted models ของเราเอง

ปัญหาหนึ่งของ AI agent ที่ผมเจอตอนเริ่มใช้งานจริง: ทุกครั้งที่เริ่ม session ใหม่ agent จะจำอะไรไม่ได้เลย ถามคำถามเดิมซ้ำ ต้องอธิบายบริบทใหม่ทุกครั้ง ไม่รู้ว่าผู้ใช้ชอบอะไร ไม่ชอบอะไร ผมลองหลายวิธี — เขียนบันทึกสนทนาลงไฟล์ ใช้ vector store เก็บข้อมูล สร้างระบบความจำเอง — จนมาเจอ Honcho ซึ่งเป็น open-source memory infrastructure จาก Plastic Labs ที่ตอบโจทย์ตรงนี้

วันนี้เล่าเรื่อง Honcho ตั้งแต่ "ทำไมต้องมี memory layer" → "Honcho architecture" → "ผมใช้งานยังไง" → "เทียบกับ Mem0/Letta/Zep"

เรื่องมันเริ่มจากปัญหาที่น่ารำคาญมากตอนเที่ยงคืนครับ API ที่ผมใช้รัน backtest trading bot มัน timeout แบบสุ่ม — บาง call ผ่าน บาง call ไม่ผ่าน แถมพอลองยิง prompt เดิมซ้ำ ก็ได้ output กลับมาทันที ฟังดูขัดแย้งใช่ไหมครับ?

ผมใช้เวลาทั้งคืนไล่หาสาเหตุ จนในที่สุดก็พบว่า ปัญหาไม่ได้อยู่ที่ vLLM ไม่ได้อยู่ที่ DGX Spark และไม่ได้อยู่ที่ model เลย — มันอยู่ที่ LiteLLM proxy layer ที่ผมตั้งใจใช้เป็น "แค่ทางผ่าน" ตั้งแต่ต้น