เมื่อ shared gateway เจอ client ที่ส่งของไม่ครบ: บทเรียน debug 400 (2013) ข้าม 3 ระบบ
· 11 min read
ตอนสามทุ่มวันจันทร์ LiteLLM log เริ่มเต็มไปด้วย 400 ทุก 2-3 วินาที — request_id วนลูป, model group M3-CODE-256k, Available Model Group Fallbacks=None. ผมไม่รู้ว่ามันคือ harness ที่เพิ่งอัปเดตเมื่อวาน หรือ gateway ที่ pin version ไว้เมื่อเดือนก่อน
นี่คือ investigation log เต็มของ bug ที่ทำให้ผม recreate container สามรอบในคืนเดียว, post บน GitHub, และค้นพบว่าทางออกที่ดีที่สุดคือ 91 บรรทัดที่ไม่มีใครเขียนมาก่อน