Initial commit: E4B-MarkBase model integration with passing tests

- E4B-MarkBase model (42 layers, 4.4GB) loaded successfully - All Phase 1-6 tests passed (model loading, forward pass, vision/audio towers, token generation, performance) - All stress tests passed (5/5 in 127.6s) - Concurrent inference - Memory stress (67.5 tok/s, 0 NaN) - Continuous generation - Batch processing - Long-running stability - Swift Metal inference engine with multimodal support
2026-06-23 18:12:35 +08:00
commit ac75faa0cc
301 changed files with 63426 additions and 0 deletions
@@ -0,0 +1,239 @@
+# 重要发现：31B 是 Dense 模型，可以直接使用！
+
+## 发现日期
+2026-06-20
+
+## 关键发现
+
+### 31B 模型结构验证
+```json
+{
+  "enable_moe_block": False,
+  "num_experts": None,
+  "moe_intermediate_size": N/A
+}
+```
+
+**结论**: ✅ **31B 是 Dense 模型（无 MoE）**
+
+### 26B-A4B 模型结构验证
+```json
+{
+  "enable_moe_block": True,
+  "num_experts": 128,
+  "moe_intermediate_size": 704
+}
+```
+
+**结论**: ⚠️ **26B-A4B 所有30层都有 MoE**
+
+## 实际结构对比
+
+| 模型 | MoE | 层数 | Experts | 实现难度 | 实际意义 |
+|------|-----|------|---------|---------|---------|
+| **31B** | **No** ✅ | 60 | None | ⭐⭐⭐⭐⭐ **直接可用** | ⭐⭐⭐⭐⭐ **最高** |
+| **26B-A4B** | Yes ⚠️ | 30 | 128 (all layers) | ⭐⭐⭐ 需要 MoE | ⭐⭐⭐ 中 |
+| **26B-Standard** | No ✅ | 30 | None | ⭐⭐⭐⭐⭐ 已验证 | ⭐⭐⭐⭐⭐ 最高 |
+| **26B 8-bit** | No ✅ | 30 | None | ⭐⭐⭐⭐⭐ 标准 | ⭐⭐⭐⭐⭐ 高 |
+
+## 为什么 31B 可以直接测试
+
+### 1. Dense 结构（无 MoE）
+- ✅ enable_moe_block: False
+- ✅ 无 MoE 权重（420个 vs 26B-A4B）
+- ✅ 标准 Dense forward pass
+
+### 2. 已下载可用
+- ✅ 文件大小: 18.41 GB（已下载）
+- ✅ 4 shards（完整权重）
+- ✅ 配置齐全
+
+### 3. 量化格式标准
+- ✅ 4-bit (group=64)
+- ✅ 标准 MLX 格式
+- ✅ 无特殊处理需求
+
+### 4. Swift 代码已支持
+- ✅ Model.swift: 已有 Dense 模型加载逻辑
+- ✅ Layer.swift: Dense forward pass 实现
+- ✅ 可复用 26B-Standard 的代码
+
+### 5. 只需小调整
+- ⚠️ 层数调整：60层（vs 26B 30层）
+- ⚠️ Hidden size：5376（vs 26B 2816）
+- ⚠️ 可能需要验证 scales（group=64）
+
+**预计工作量**: **1-2小时**（不是 5-8天！）
+
+## 31B vs 26B 详细对比
+
+### 模型规格
+```
+31B 4-bit:
+  参数量: 31B (+19% vs 26B)
+  层数: 60 (+100% vs 26B)
+  Hidden size: 5376 (+91% vs 26B)
+  结构: Dense ✅
+  
+26B 4-bit:
+  参数量: 26B
+  层数: 30
+  Hidden size: 2816
+  结构: Dense ✅
+```
+
+### 性能参数
+```
+31B 4-bit:
+  文件: 18.41 GB (实测)
+  内存: ~20 GB
+  推理速度: ~25 tok/s (预计，60层)
+  精度: Acceptable (4-bit)
+  设备: M4 (64GB)
+  
+26B 4-bit:
+  文件: 15.61 GB
+  内存: ~17 GB
+  推理速度: 40 tok/s (实测)
+  精度: Acceptable (4-bit)
+  设备: M3 Max (48GB)
+```
+
+### 实际意义对比
+```
+31B 4-bit:
+  实际意义: ⭐⭐⭐⭐⭐ (最高)
+  - Dense 结构，直接可用
+  - 更大模型容量
+  - 更深层数
+  - 已下载
+  - 立即测试
+  
+26B 4-bit:
+  实际意义: ⭐⭐⭐⭐⭐ (最高)
+  - 最快速度
+  - 最小内存
+  - 已验证
+  - 当前最优
+```
+
+## 测试步骤
+
+### 立即测试 31B（1-2小时）
+
+#### 步骤 1: 复用 26B 测试逻辑
+```swift
+// 使用 26B-Standard 的测试框架
+// 调整参数：num_layers=60, hidden_size=5376
+```
+
+#### 步骤 2: 验证配置
+```bash
+cd /Users/accusys/MarkBase12B
+.build/debug/G12BServer models/gemma-4-31b-it-4bit test --benchmark
+```
+
+#### 步骤 3: 检查 scales
+```python
+# 验证 group_size=64
+# 检查是否需要 normalization
+```
+
+#### 步骤 4: 对比性能
+```
+对比指标:
+- Token generation speed (tok/s)
+- Memory usage
+- Output quality
+- Forward pass 稳定性
+```
+
+#### 步骤 5: 验证输出
+```python
+# Python 验证（类似 26B）
+# 确认输出 tokens 有效
+```
+
+## 新的推荐策略
+
+### 立即行动（今天）
+1. ✅ **测试 31B 4-bit**（Dense，直接可用）
+2. ✅ 对比 31B vs 26B 性能
+3. ✅ 验证是否真的更强
+
+### 当前最优（继续）
+1. ✅ **26B 4-bit**（最快、最小、已验证）
+2. ✅ 适合 M3 Max (48GB)
+
+### 未来升级（可选）
+1. **26B 8-bit**（最高精度，需要 64GB+）
+2. **31B 4-bit**（如果测试证明更强）
+
+### 学习研究（可选）
+1. **26B-A4B MoE**（需要 3-5天实现 MoE）
+
+## 优先级（重新排序）
+
+### 基于新发现
+```
+1. 31B 4-bit ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐
+   - Dense 结构，直接可用
+   - 更大模型容量
+   - 立即测试
+   
+2. 26B 4-bit (当前) ⭐⭐⭐⭐⭐
+   - 最快、最小、已验证
+   - 当前最优
+   
+3. 26B 8-bit ⭐⭐⭐⭐⭐
+   - 最高精度
+   - 需要 64GB+
+   
+4. 26B-A4B MoE ⭐⭐⭐
+   - 需要 MoE 实现
+   - 仅用于学习
+```
+
+## 关键结论
+
+1. **31B 实际意义大幅提升**
+   - 从 ⭐⭐⭐⭐ (需要 MoE) → ⭐⭐⭐⭐⭐ (直接可用)
+   - Dense 结构，无需额外开发
+   
+2. **31B 可以立即测试**
+   - 工作量从 5-8天 → 1-2小时
+   - 可复用 26B 测试框架
+   
+3. **31B vs 26B 对比有意义**
+   - 两者都是 Dense 结构
+   - 可以公平对比性能
+   
+4. **建议立即测试 31B**
+   - 验证是否真的更强
+   - 可能替代 26B 作为主力模型
+
+## 下一步行动
+
+### 立即可行
+- ✅ 测试 31B 4-bit forward pass
+- ✅ 对比 31B vs 26B token generation
+- ✅ 验证内存和推理速度
+- ✅ Python 验证输出质量
+
+### 如果测试成功
+- ✅ 31B 可能成为新主力（更大容量）
+- ✅ 26B 继续用于快速推理
+- ✅ 根据实际性能决定使用哪个
+
+### 如果测试失败
+- ⚠️ 检查 scales/hidden_size 配置
+- ⚠️ 验证 group_size=64 格式
+- ⚠️ 可能需要小调整
+
+---
+
+**发现**: 31B 是 Dense 模型 ✅  
+**意义**: 实际意义大幅提升 ⭐⭐⭐⭐⭐  
+**工作量**: 1-2小时（不是 5-8天）  
+**推荐**: 立即测试验证  
+**预期**: 31B 可能更强（更大容量，更深层数）