MarkBase Admin
ac75faa0cc
CI / build-and-test (push) Has been cancelled
- E4B-MarkBase model (42 layers, 4.4GB) loaded successfully - All Phase 1-6 tests passed (model loading, forward pass, vision/audio towers, token generation, performance) - All stress tests passed (5/5 in 127.6s) - Concurrent inference - Memory stress (67.5 tok/s, 0 NaN) - Continuous generation - Batch processing - Long-running stability - Swift Metal inference engine with multimodal support
387 lines
8.5 KiB
Markdown
387 lines
8.5 KiB
Markdown
# 26B 8-bit vs 31B 4-bit 对比报告
|
||
|
||
## 对比日期
|
||
2026-06-20
|
||
|
||
## 模型可用性
|
||
|
||
### 已下载的模型
|
||
- ✅ **26B-Standard** (4-bit, group=32): 15.61 GB
|
||
- ✅ **26B-A4B-IT** (4-bit, group=64): 15.61 GB（有 MoE）
|
||
- ✅ **31B-IT-4bit** (4-bit, group=64): 18.41 GB（有 MoE）
|
||
- ❌ **26B 8-bit**: 未下载（需要单独量化）
|
||
|
||
## 规格对比
|
||
|
||
### 基本参数
|
||
|
||
| 指标 | 26B 8-bit | 31B 4-bit | 26B 4-bit (当前) |
|
||
|------|-----------|-----------|-----------------|
|
||
| **参数量** | 26B | 31B (+19%) | 26B |
|
||
| **层数** | 30 | 60 (+100%) | 30 |
|
||
| **Hidden size** | 2816 | 5376 (+91%) | 2816 |
|
||
| **量化精度** | 8-bit | 4-bit | 4-bit |
|
||
| **Group size** | 32 | 64 | 32 |
|
||
| **结构** | Dense | MoE | Dense |
|
||
|
||
### 性能参数
|
||
|
||
| 指标 | 26B 8-bit | 31B 4-bit | 26B 4-bit |
|
||
|------|-----------|-----------|-----------|
|
||
| **文件大小** | ~28 GB | ~16 GB | ~15 GB |
|
||
| **内存占用** | ~33 GB | ~19 GB | ~17 GB |
|
||
| **推理速度** | ~35 tok/s* | ~25 tok/s* | 40 tok/s ✓ |
|
||
| **精度损失** | Minimal | Notable | Notable |
|
||
| **输出质量** | High ⭐⭐⭐⭐⭐ | Acceptable ⭐⭐⭐⭐ | Acceptable ⭐⭐⭐⭐⭐ |
|
||
| **设备要求** | M4/M5 (64GB+) | M4 (64GB) | M3 Max (48GB) ✓ |
|
||
|
||
*注：预计值，实际需测试
|
||
|
||
## 详细分析
|
||
|
||
### 26B 8-bit
|
||
|
||
#### 优势 ✅
|
||
1. **最高精度** (⭐⭐⭐⭐⭐)
|
||
- 数值范围: -128 到 127（vs 4-bit: -8 到 7）
|
||
- 16x 更大数值范围
|
||
- 精度损失 minimal
|
||
|
||
2. **标准格式** (⭐⭐⭐⭐⭐)
|
||
- 广泛支持（硬件、框架）
|
||
- 兼容性好
|
||
- 无需特殊处理
|
||
|
||
3. **输出质量最好** (⭐⭐⭐⭐⭐)
|
||
- 适合精度敏感任务
|
||
- 更好的数值稳定性
|
||
- 更少量化误差
|
||
|
||
#### 劣势 ❌
|
||
1. **文件更大**
|
||
- 28 GB (vs 31B 4-bit: 16 GB, +75%)
|
||
- 更长下载时间
|
||
|
||
2. **内存更大**
|
||
- 33 GB (vs 31B 4-bit: 19 GB, +73%)
|
||
- 需要 M4/M5 (64GB+)
|
||
|
||
3. **推理速度可能略慢**
|
||
- 更多数据传输
|
||
- 更多内存访问
|
||
|
||
#### 实际意义 ⭐⭐⭐⭐⭐ (高)
|
||
- **推荐度**: 最高
|
||
- **适用场景**: 高精度任务、研究开发、生产服务器
|
||
- **性价比**: 中（精度高但内存大）
|
||
|
||
---
|
||
|
||
### 31B 4-bit
|
||
|
||
#### 优势 ✅
|
||
1. **更大模型容量** (⭐⭐⭐⭐⭐)
|
||
- 31B 参数 (+19% vs 26B)
|
||
- 更多知识存储
|
||
- 更强泛化能力
|
||
|
||
2. **更深层数** (⭐⭐⭐⭐⭐)
|
||
- 60 层 (vs 26B: 30 层, +100%)
|
||
- 更深层次推理
|
||
- 更复杂模式识别
|
||
- 更强上下文理解
|
||
|
||
3. **更大 Hidden Size** (⭐⭐⭐⭐⭐)
|
||
- 5376 (vs 2816, +91%)
|
||
- 更大表征空间
|
||
- 更丰富特征
|
||
- 更强表达能力
|
||
|
||
4. **内存更小** (⭐⭐⭐⭐)
|
||
- 19 GB (vs 26B 8-bit: 33 GB, -42%)
|
||
- M4 (64GB) 即可
|
||
- 更易部署
|
||
|
||
5. **文件更小** (⭐⭐⭐⭐)
|
||
- 16 GB (vs 26B 8-bit: 28 GB, -43%)
|
||
- 更快下载
|
||
|
||
#### 劣势 ❌
|
||
1. **精度较低** (⭐⭐)
|
||
- 4-bit 量化
|
||
- 数值范围小（-8 到 7）
|
||
- 精度损失 notable
|
||
|
||
2. **MoE 结构** (⚠️)
|
||
- 需要实现 MoE routing
|
||
- 额外开发工作（3-5天）
|
||
- 复杂度高
|
||
|
||
3. **推理速度可能较慢** (⭐⭐)
|
||
- 60 层（更多计算）
|
||
- MoE routing overhead
|
||
- 预计 ~25 tok/s
|
||
|
||
#### 实际意义 ⭐⭐⭐⭐ (中高)
|
||
- **推荐度**: 中高
|
||
- **适用场景**: 一般聊天/问答、大模型需求、内存受限
|
||
- **性价比**: 高（大模型但内存小）
|
||
- **需要**: MoE 实现后才能使用
|
||
|
||
---
|
||
|
||
### 26B 4-bit (当前)
|
||
|
||
#### 优势 ✅
|
||
1. **最快推理速度** (⭐⭐⭐⭐⭐)
|
||
- 40 tok/s (实测 ✓)
|
||
- 比 E4B 27.7 tok/s 快 44%
|
||
|
||
2. **最小内存** (⭐⭐⭐⭐⭐)
|
||
- 17 GB
|
||
- M3 Max (48GB) 即可
|
||
- 当前设备可用 ✓
|
||
|
||
3. **最小文件** (⭐⭐⭐⭐⭐)
|
||
- 15 GB
|
||
- 最快下载
|
||
|
||
4. **已验证可用** (⭐⭐⭐⭐⭐)
|
||
- Forward pass 成功 ✓
|
||
- Token generation 验证 ✓
|
||
- Python 验证通过 ✓
|
||
- 无需额外开发
|
||
|
||
5. **Dense 结构** (⭐⭐⭐⭐⭐)
|
||
- 无 MoE 复杂性
|
||
- 实现简单
|
||
- 性能稳定
|
||
|
||
#### 劣势 ❌
|
||
1. **精度较低** (⭐⭐⭐)
|
||
- 4-bit 量化
|
||
- 数值范围小
|
||
- 精度损失 notable
|
||
|
||
#### 实际意义 ⭐⭐⭐⭐⭐ (最高)
|
||
- **推荐度**: 最高
|
||
- **适用场景**: 快速推理、内存受限、当前使用
|
||
- **性价比**: 最高（最快、最小、已验证）
|
||
|
||
---
|
||
|
||
## 关键对比总结
|
||
|
||
### 文件大小对比
|
||
```
|
||
26B 8-bit: ~28 GB
|
||
31B 4-bit: ~16 GB (-43%)
|
||
26B 4-bit: ~15 GB (-46%) ✓ 最小
|
||
```
|
||
|
||
### 内存占用对比
|
||
```
|
||
26B 8-bit: ~33 GB
|
||
31B 4-bit: ~19 GB (-42%)
|
||
26B 4-bit: ~17 GB (-49%) ✓ 最小
|
||
```
|
||
|
||
### 推理速度对比
|
||
```
|
||
26B 8-bit: ~35 tok/s*
|
||
31B 4-bit: ~25 tok/s*
|
||
26B 4-bit: 40 tok/s ✓ 最快（实测）
|
||
```
|
||
|
||
### 精度对比
|
||
```
|
||
26B 8-bit: High ⭐⭐⭐⭐⭐ ✓ 最高
|
||
31B 4-bit: Acceptable ⭐⭐⭐⭐
|
||
26B 4-bit: Acceptable ⭐⭐⭐⭐⭐
|
||
```
|
||
|
||
### 设备要求对比
|
||
```
|
||
26B 8-bit: M4/M5 (64GB+)
|
||
31B 4-bit: M4 (64GB)
|
||
26B 4-bit: M3 Max (48GB) ✓ 最低
|
||
```
|
||
|
||
---
|
||
|
||
## 场景推荐
|
||
|
||
### 1. 高精度任务（数学、逻辑、编程）
|
||
**推荐**: 26B 8-bit ⭐⭐⭐⭐⭐
|
||
- 精度损失最小
|
||
- 输出质量最好
|
||
- 标准格式
|
||
|
||
### 2. 内存受限（64GB）
|
||
**推荐**: 31B 4-bit ⭐⭐⭐⭐
|
||
- 内存更小（19 GB）
|
||
- 参数量更大（31B）
|
||
- 层数更深（60 层）
|
||
- **需要**: MoE 实现
|
||
|
||
### 3. 一般聊天/问答
|
||
**推荐**: 31B 4-bit ⭐⭐⭐⭐
|
||
- 更大模型容量
|
||
- 更强推理能力
|
||
- **需要**: MoE 实现
|
||
|
||
### 4. 快速推理
|
||
**推荐**: 26B 4-bit (当前) ⭐⭐⭐⭐⭐
|
||
- 最快速度（40 tok/s）
|
||
- 最小内存（17 GB）
|
||
- 已验证可用
|
||
|
||
### 5. 当前设备（48GB）
|
||
**推荐**: 26B 4-bit (当前) ⭐⭐⭐⭐⭐
|
||
- **唯一选择**（其他需要 64GB+）
|
||
- 性价比最高
|
||
- 已验证可用
|
||
|
||
---
|
||
|
||
## 实际意义总结
|
||
|
||
### 26B 8-bit: ⭐⭐⭐⭐⭐ (高)
|
||
```
|
||
实际意义评分: 5/5
|
||
|
||
优势:
|
||
✓ 最高精度（标准 8-bit）
|
||
✓ 输出质量最好
|
||
✓ 兼容性最好
|
||
|
||
劣势:
|
||
✗ 内存大（33 GB）
|
||
✗ 需要 M4/M5 (64GB+)
|
||
|
||
推荐场景:
|
||
✓ 高精度任务
|
||
✓ 研究开发
|
||
✓ 生产服务器（充足内存）
|
||
```
|
||
|
||
### 31B 4-bit: ⭐⭐⭐⭐ (中高)
|
||
```
|
||
实际意义评分: 4/5
|
||
|
||
优势:
|
||
✓ 更大模型容量（31B）
|
||
✓ 更深层数（60 层）
|
||
✓ 更强推理能力
|
||
✓ 内存更小（19 GB）
|
||
|
||
劣势:
|
||
✗ 精度较低（4-bit）
|
||
✗ 需要 MoE 实现（3-5天开发）
|
||
✗ 推理速度可能较慢
|
||
|
||
推荐场景:
|
||
✓ 大模型需求
|
||
✓ 内存受限（64GB）
|
||
✓ 一般聊天/问答
|
||
|
||
注意:
|
||
⚠️ MoE 结构需要额外实现
|
||
⚠️ 当前无法直接使用
|
||
```
|
||
|
||
### 26B 4-bit (当前): ⭐⭐⭐⭐⭐ (最高)
|
||
```
|
||
实际意义评分: 5/5
|
||
|
||
优势:
|
||
✓ 最快推理（40 tok/s）
|
||
✓ 最小内存（17 GB）
|
||
✓ 最小文件（15 GB）
|
||
✓ 已验证可用（Python 验证通过）
|
||
✓ 当前设备可用（M3 Max 48GB）
|
||
✓ 无需额外开发
|
||
|
||
劣势:
|
||
✗ 精度较低（4-bit）
|
||
|
||
推荐场景:
|
||
✓ 快速推理
|
||
✓ 内存受限（48GB）
|
||
✓ 当前最优选择
|
||
✓ 性价比最高
|
||
```
|
||
|
||
---
|
||
|
||
## 最终建议
|
||
|
||
### 当前最优策略 (48GB 设备)
|
||
**✅ 保持 26B 4-bit（当前配置）**
|
||
|
||
理由:
|
||
1. ✓ 性价比最高
|
||
2. ✓ 推理速度最快（40 tok/s）
|
||
3. ✓ 内存最小（17 GB）
|
||
4. ✓ 已验证可用（Python 验证通过）
|
||
5. ✓ 无需额外开发
|
||
6. ✓ 当前设备可用
|
||
|
||
### 升级策略 (64GB+ 设备)
|
||
|
||
**选项 1: 26B 8-bit ⭐⭐⭐⭐⭐ (推荐)**
|
||
- 最高精度
|
||
- 标准格式
|
||
- 输出质量最好
|
||
- 兼容性好
|
||
- **需要**: 重新量化或下载 8-bit 版本
|
||
|
||
**选项 2: 31B 4-bit ⭐⭐⭐⭐**
|
||
- 更大模型容量
|
||
- 更强推理能力
|
||
- 内存适中
|
||
- **需要**: MoE 实现（3-5天开发）
|
||
|
||
### 推荐优先级
|
||
```
|
||
1. 26B 4-bit (当前) ⭐⭐⭐⭐⭐
|
||
- 最实用、最经济、已验证
|
||
|
||
2. 26B 8-bit ⭐⭐⭐⭐⭐
|
||
- 最高精度、标准格式
|
||
- 需要内存升级
|
||
|
||
3. 31B 4-bit ⭐⭐⭐⭐
|
||
- 最大容量、更强推理
|
||
- 需要 MoE 实现
|
||
```
|
||
|
||
---
|
||
|
||
## 关键结论
|
||
|
||
1. **26B 8-bit 有高实际意义** ⭐⭐⭐⭐⭐
|
||
- 精度最高
|
||
- 标准格式
|
||
- 推荐用于高精度场景
|
||
|
||
2. **31B 4-bit 有中高实际意义** ⭐⭐⭐⭐
|
||
- 更大模型容量
|
||
- 更强推理能力
|
||
- **需要 MoE 实现后才能使用**
|
||
|
||
3. **26B 4-bit (当前) 最高实际意义** ⭐⭐⭐⭐⭐
|
||
- 最快、最小、已验证
|
||
- 当前最优选择
|
||
|
||
4. **基于 48GB 设备，26B 4-bit 是唯一可用选择**
|
||
|
||
5. **基于 64GB+ 设备，推荐 26B 8-bit（高精度）或 31B 4-bit（大模型）**
|
||
|
||
---
|
||
|
||
**报告生成**: 2026-06-20
|
||
**推荐**: 保持 26B 4-bit (当前)
|
||
**可选升级**: 26B 8-bit (高精度) 或 31B 4-bit (大模型)
|
||
**需要开发**: 31B 4-bit 需要 MoE 实现
|