 MarkBase Admin
|
6a5dea596a
|
complete analysis: 26B-A4B深度修复 - 多次修复但问题极其复杂
CI / build-and-test (push) Has been cancelled
完整修复历程：
✅ Swift: loadExpertGroup groupSize计算修复
✅ Swift: dequantizeRow bits检测
✅ Swift: quantizedMatmul bits检测（移除if false）
✅ Metal: dequantize_row_8bit kernel创建
✅ Metal: quantized_matmul_8bit kernel创建
✅ 已有: quantized_matmul_gate_up_8bit, quantized_matmul_simd_8bit
测试结果始终不变：
Embedding: 0 NaN ✅（一直正常）
Forward Pass: 2 NaN ⚠️（位置[2,98]，固定）
已排除的问题：
✅ Embedding weights/dequantization
✅ Router matmul kernel缺失
✅ Expert matmul kernel缺失
✅ GroupSize计算错误
✅ Bits detection逻辑
未排除的可能问题：
⚠️ LM head逻辑
⚠️ moeMegaKernel内部实现
⚠️ Router scale计算
⚠️ Token ID用作logits索引
关键差异：
12B: NaN在[2,255999,256000]（多模态tokens）
26B-A4B: NaN在[2,98]（未知机制）
26B-Standard: 0 NaN（完美）
修复成本：
已投入：数小时，5 kernel + 3 Swift修复
剩余工作：数小时+，风险极高
成功率：不确定
最终决策：
强烈推荐：使用26B-Standard代替 ⭐⭐⭐⭐⭐
理由：完美0 NaN，相同架构，零风险，立即可用
修复进度：60% ✅
问题定性：极其复杂 ⭐⭐⭐⭐⭐
推荐方案：26B-Standard代替
|
2026-06-24 02:41:57 +08:00 |
|