warren/markbaseengine
1
0
Fork 0
Code Issues Pull Requests Actions 18 Packages Projects Releases Wiki Activity
Files
d8d1d8d2ae9e2a8b61a6433cc28c6697d3266c2a
markbaseengine/26B_8BIT_VS_31B_4BIT_COMPARISON.md
T
MarkBase Admin ac75faa0cc
CI / build-and-test (push) Has been cancelled
Details
Initial commit: E4B-MarkBase model integration with passing tests 
- E4B-MarkBase model (42 layers, 4.4GB) loaded successfully
- All Phase 1-6 tests passed (model loading, forward pass, vision/audio towers, token generation, performance)
- All stress tests passed (5/5 in 127.6s)
  - Concurrent inference
  - Memory stress (67.5 tok/s, 0 NaN)
  - Continuous generation
  - Batch processing
  - Long-running stability
- Swift Metal inference engine with multimodal support
2026-06-23 18:12:35 +08:00

8.5 KiB
Raw Blame History

26B 8-bit vs 31B 4-bit 对比报告

对比日期

2026-06-20

模型可用性

已下载的模型

  • ✅ 26B-Standard (4-bit, group=32): 15.61 GB
  • ✅ 26B-A4B-IT (4-bit, group=64): 15.61 GB（有 MoE）
  • ✅ 31B-IT-4bit (4-bit, group=64): 18.41 GB（有 MoE）
  • ❌ 26B 8-bit: 未下载（需要单独量化）

规格对比

基本参数

指标 26B 8-bit 31B 4-bit 26B 4-bit (当前)
参数量 26B 31B (+19%) 26B
层数 30 60 (+100%) 30
Hidden size 2816 5376 (+91%) 2816
量化精度 8-bit 4-bit 4-bit
Group size 32 64 32
结构 Dense MoE Dense

性能参数

指标 26B 8-bit 31B 4-bit 26B 4-bit
文件大小 ~28 GB ~16 GB ~15 GB
内存占用 ~33 GB ~19 GB ~17 GB
推理速度 ~35 tok/s* ~25 tok/s* 40 tok/s ✓
精度损失 Minimal Notable Notable
输出质量 High ⭐⭐⭐⭐⭐ Acceptable ⭐⭐⭐⭐ Acceptable ⭐⭐⭐⭐⭐
设备要求 M4/M5 (64GB+) M4 (64GB) M3 Max (48GB) ✓

*注：预计值，实际需测试

详细分析

26B 8-bit

优势 ✅

  1. 最高精度 (⭐⭐⭐⭐⭐)

    • 数值范围: -128 到 127（vs 4-bit: -8 到 7）
    • 16x 更大数值范围
    • 精度损失 minimal

  2. 标准格式 (⭐⭐⭐⭐⭐)

    • 广泛支持（硬件、框架）
    • 兼容性好
    • 无需特殊处理

  3. 输出质量最好 (⭐⭐⭐⭐⭐)

    • 适合精度敏感任务
    • 更好的数值稳定性
    • 更少量化误差

劣势 ❌

  1. 文件更大

    • 28 GB (vs 31B 4-bit: 16 GB, +75%)
    • 更长下载时间

  2. 内存更大

    • 33 GB (vs 31B 4-bit: 19 GB, +73%)
    • 需要 M4/M5 (64GB+)

  3. 推理速度可能略慢

    • 更多数据传输
    • 更多内存访问

实际意义 ⭐⭐⭐⭐⭐ (高)

  • 推荐度: 最高
  • 适用场景: 高精度任务、研究开发、生产服务器
  • 性价比: 中（精度高但内存大）

31B 4-bit

优势 ✅

  1. 更大模型容量 (⭐⭐⭐⭐⭐)

    • 31B 参数 (+19% vs 26B)
    • 更多知识存储
    • 更强泛化能力

  2. 更深层数 (⭐⭐⭐⭐⭐)

    • 60 层 (vs 26B: 30 层, +100%)
    • 更深层次推理
    • 更复杂模式识别
    • 更强上下文理解

  3. 更大 Hidden Size (⭐⭐⭐⭐⭐)

    • 5376 (vs 2816, +91%)
    • 更大表征空间
    • 更丰富特征
    • 更强表达能力

  4. 内存更小 (⭐⭐⭐⭐)

    • 19 GB (vs 26B 8-bit: 33 GB, -42%)
    • M4 (64GB) 即可
    • 更易部署

  5. 文件更小 (⭐⭐⭐⭐)

    • 16 GB (vs 26B 8-bit: 28 GB, -43%)
    • 更快下载

劣势 ❌

  1. 精度较低 (⭐⭐)

    • 4-bit 量化
    • 数值范围小（-8 到 7）
    • 精度损失 notable

  2. MoE 结构 (⚠️)

    • 需要实现 MoE routing
    • 额外开发工作（3-5天）
    • 复杂度高

  3. 推理速度可能较慢 (⭐⭐)

    • 60 层（更多计算）
    • MoE routing overhead
    • 预计 ~25 tok/s

实际意义 ⭐⭐⭐⭐ (中高)

  • 推荐度: 中高
  • 适用场景: 一般聊天/问答、大模型需求、内存受限
  • 性价比: 高（大模型但内存小）
  • 需要: MoE 实现后才能使用

26B 4-bit (当前)

优势 ✅

  1. 最快推理速度 (⭐⭐⭐⭐⭐)

    • 40 tok/s (实测 ✓)
    • 比 E4B 27.7 tok/s 快 44%

  2. 最小内存 (⭐⭐⭐⭐⭐)

    • 17 GB
    • M3 Max (48GB) 即可
    • 当前设备可用 ✓

  3. 最小文件 (⭐⭐⭐⭐⭐)

    • 15 GB
    • 最快下载

  4. 已验证可用 (⭐⭐⭐⭐⭐)

    • Forward pass 成功 ✓
    • Token generation 验证 ✓
    • Python 验证通过 ✓
    • 无需额外开发

  5. Dense 结构 (⭐⭐⭐⭐⭐)

    • 无 MoE 复杂性
    • 实现简单
    • 性能稳定

劣势 ❌

  1. 精度较低 (⭐⭐⭐)
    • 4-bit 量化
    • 数值范围小
    • 精度损失 notable

实际意义 ⭐⭐⭐⭐⭐ (最高)

  • 推荐度: 最高
  • 适用场景: 快速推理、内存受限、当前使用
  • 性价比: 最高（最快、最小、已验证）

关键对比总结

文件大小对比

26B 8-bit:  ~28 GB
31B 4-bit: ~16 GB (-43%)
26B 4-bit: ~15 GB (-46%)  ✓ 最小

内存占用对比

26B 8-bit:  ~33 GB
31B 4-bit: ~19 GB (-42%)
26B 4-bit: ~17 GB (-49%)  ✓ 最小

推理速度对比

26B 8-bit:  ~35 tok/s*
31B 4-bit: ~25 tok/s*
26B 4-bit: 40 tok/s ✓  最快（实测）

精度对比

26B 8-bit:  High ⭐⭐⭐⭐⭐  ✓ 最高
31B 4-bit: Acceptable ⭐⭐⭐⭐
26B 4-bit: Acceptable ⭐⭐⭐⭐⭐

设备要求对比

26B 8-bit:  M4/M5 (64GB+)
31B 4-bit: M4 (64GB)
26B 4-bit: M3 Max (48GB) ✓ 最低

场景推荐

1. 高精度任务（数学、逻辑、编程）

推荐: 26B 8-bit ⭐⭐⭐⭐⭐

  • 精度损失最小
  • 输出质量最好
  • 标准格式

2. 内存受限（64GB）

推荐: 31B 4-bit ⭐⭐⭐⭐

  • 内存更小（19 GB）
  • 参数量更大（31B）
  • 层数更深（60 层）
  • 需要: MoE 实现

3. 一般聊天/问答

推荐: 31B 4-bit ⭐⭐⭐⭐

  • 更大模型容量
  • 更强推理能力
  • 需要: MoE 实现

4. 快速推理

推荐: 26B 4-bit (当前) ⭐⭐⭐⭐⭐

  • 最快速度（40 tok/s）
  • 最小内存（17 GB）
  • 已验证可用

5. 当前设备（48GB）

推荐: 26B 4-bit (当前) ⭐⭐⭐⭐⭐

  • 唯一选择（其他需要 64GB+）
  • 性价比最高
  • 已验证可用

实际意义总结

26B 8-bit: ⭐⭐⭐⭐⭐ (高)

实际意义评分: 5/5

优势:
  ✓ 最高精度（标准 8-bit）
  ✓ 输出质量最好
  ✓ 兼容性最好
  
劣势:
  ✗ 内存大（33 GB）
  ✗ 需要 M4/M5 (64GB+)
  
推荐场景:
  ✓ 高精度任务
  ✓ 研究开发
  ✓ 生产服务器（充足内存）

31B 4-bit: ⭐⭐⭐⭐ (中高)

实际意义评分: 4/5

优势:
  ✓ 更大模型容量（31B）
  ✓ 更深层数（60 层）
  ✓ 更强推理能力
  ✓ 内存更小（19 GB）
  
劣势:
  ✗ 精度较低（4-bit）
  ✗ 需要 MoE 实现（3-5天开发）
  ✗ 推理速度可能较慢
  
推荐场景:
  ✓ 大模型需求
  ✓ 内存受限（64GB）
  ✓ 一般聊天/问答
  
注意:
  ⚠️ MoE 结构需要额外实现
  ⚠️ 当前无法直接使用

26B 4-bit (当前): ⭐⭐⭐⭐⭐ (最高)

实际意义评分: 5/5

优势:
  ✓ 最快推理（40 tok/s）
  ✓ 最小内存（17 GB）
  ✓ 最小文件（15 GB）
  ✓ 已验证可用（Python 验证通过）
  ✓ 当前设备可用（M3 Max 48GB）
  ✓ 无需额外开发
  
劣势:
  ✗ 精度较低（4-bit）
  
推荐场景:
  ✓ 快速推理
  ✓ 内存受限（48GB）
  ✓ 当前最优选择
  ✓ 性价比最高

最终建议

当前最优策略 (48GB 设备)

✅ 保持 26B 4-bit（当前配置）

理由:

  1. ✓ 性价比最高
  2. ✓ 推理速度最快（40 tok/s）
  3. ✓ 内存最小（17 GB）
  4. ✓ 已验证可用（Python 验证通过）
  5. ✓ 无需额外开发
  6. ✓ 当前设备可用

升级策略 (64GB+ 设备)

选项 1: 26B 8-bit ⭐⭐⭐⭐⭐ (推荐)

  • 最高精度
  • 标准格式
  • 输出质量最好
  • 兼容性好
  • 需要: 重新量化或下载 8-bit 版本

选项 2: 31B 4-bit ⭐⭐⭐⭐

  • 更大模型容量
  • 更强推理能力
  • 内存适中
  • 需要: MoE 实现（3-5天开发）

推荐优先级

1. 26B 4-bit (当前) ⭐⭐⭐⭐⭐
   - 最实用、最经济、已验证
   
2. 26B 8-bit ⭐⭐⭐⭐⭐
   - 最高精度、标准格式
   - 需要内存升级
   
3. 31B 4-bit ⭐⭐⭐⭐
   - 最大容量、更强推理
   - 需要 MoE 实现

关键结论

  1. 26B 8-bit 有高实际意义 ⭐⭐⭐⭐⭐

    • 精度最高
    • 标准格式
    • 推荐用于高精度场景

  2. 31B 4-bit 有中高实际意义 ⭐⭐⭐⭐

    • 更大模型容量
    • 更强推理能力
    • 需要 MoE 实现后才能使用

  3. 26B 4-bit (当前) 最高实际意义 ⭐⭐⭐⭐⭐

    • 最快、最小、已验证
    • 当前最优选择

  4. 基于 48GB 设备，26B 4-bit 是唯一可用选择

  5. 基于 64GB+ 设备，推荐 26B 8-bit（高精度）或 31B 4-bit（大模型）

报告生成: 2026-06-20
推荐: 保持 26B 4-bit (当前)
可选升级: 26B 8-bit (高精度) 或 31B 4-bit (大模型)
需要开发: 31B 4-bit 需要 MoE 实现

Reference in New Issue View Git Blame Copy Permalink