 MarkBase Admin
|
e82162e96b
|
docs: MoE架构详细说明文档
CI / build-and-test (push) Has been cancelled
关键内容：
✅ MoE基本原理：128专家，每token激活4B参数
✅ 内存需求：必须加载全部26B参数（14.5GB）
✅ 工作流程：Token → Router → Top-K → Expert → Output
✅ 26B-A4B bug推测：Token ID路由索引问题
对比分析：
26B-A4B: bits=8, group_size=64 → NaN依赖token ⚠️
26B-Standard: bits=4, group_size=32 → 0 NaN ✅
关键发现：
量化参数不匹配可能是根本原因
Router计算可能错误地使用Token ID
导致特定位置的logits变成NaN
文件：MoE_Architecture_Explanation.md
|
2026-06-24 02:05:45 +08:00 |
|