# 嘴部動作整合計畫

**更新日期**: 2026-04-02

---

## 🎯 目標

整合 **Pose 嘴部動作檢測** 提升說話人識別準確度。

---

## 📊 技術方案

### 方案 1: MediaPipe Face Mesh（推薦⭐）

**技術**: 3D 人臉關鍵點檢測

**關鍵點**:
- 468 個人臉關鍵點
- 包含嘴唇輪廓（點 0-10）
- 實時檢測（30+ FPS）

**優點**:
- ✅ 輕量級
- ✅ 實時處理
- ✅ 準確度高
- ✅ 開源免費

**缺點**:
- ⚠️ 需要額外安裝
- ⚠️ 僅檢測人臉

---

### 方案 2: OpenPose

**技術**: 全身姿態估計

**關鍵點**:
- 全身 135 個關鍵點
- 包含臉部 70 點
- 包含手部細節

**優點**:
- ✅ 全身檢測
- ✅ 包含手勢
- ✅ 準確度高

**缺點**:
- ❌ 計算量大
- ❌ 處理速度慢
- ❌ 需要 GPU 加速

---

### 方案 3: Dlib + Face Landmarks

**技術**: 68 點人臉關鍵點

**關鍵點**:
- 68 個人臉關鍵點
- 嘴唇輪廓 20 點
- 輕量級

**優點**:
- ✅ 輕量
- ✅ 快速
- ✅ 成熟穩定

**缺點**:
- ⚠️ 準確度較 MediaPipe 低
- ⚠️ 關鍵點較少

---

## 🔧 整合流程

### 完整流程

```
影片 → ASR 轉錄 → 文字 + 時間戳
       ↓
    Face 檢測 → 人臉位置
       ↓
    Pose 檢測 → 嘴部動作
       ↓
    pyannote → 說話人分離
       ↓
    多模態整合 → 最終結果
```

---

### 整合邏輯

**多模態驗證**:
```python
# 1. 語音檢測（pyannote）
speaker_audio = detect_speaker(audio)

# 2. 嘴部動作檢測（MediaPipe）
speaker_lip = detect_lip_movement(video)

# 3. 人臉檢測（Face）
speaker_face = detect_face(video)

# 4. 多模態整合
if speaker_audio and speaker_lip and speaker_face:
    confidence = 0.95  # 高置信度
elif speaker_audio and speaker_lip:
    confidence = 0.85  # 中置信度
elif speaker_audio:
    confidence = 0.65  # 低置信度
```

---

## 📈 預期效果

### 準確度提升

| 場景 | 當前準確度 | 整合後準確度 | 提升 |
|------|-----------|------------|------|
| **雙人對話** | 90% | 95-98% | +5-8% |
| **三人會議** | 85% | 92-95% | +7-10% |
| **多人會議** | 80% | 88-92% | +8-12% |
| **重疊說話** | 70% | 80-85% | +10-15% |

---

### 處理速度影響

| 處理器 | 當前速度 | 整合後速度 | 影響 |
|--------|---------|-----------|------|
| **ASR** | 50s | 50s | 0% |
| **Face** | 65s | 65s | 0% |
| **Pose** | - | +30s | +30s |
| **pyannote** | 180s | 180s | 0% |
| **總計** | ~300s | ~330s | +10% |

---

## 💻 實作範例

### MediaPipe 嘴部檢測

```python
import cv2
import mediapipe as mp

# 初始化
mp_face_mesh = mp.solutions.face_mesh
face_mesh = mp_face_mesh.FaceMesh()

# 檢測嘴部動作
def detect_lip_movement(frame):
    results = face_mesh.process(frame)
    
    if results.multi_face_landmarks:
        for face_landmarks in results.multi_face_landmarks:
            # 提取嘴唇關鍵點
            # 上嘴唇：點 13, 14, 15, 16
            # 下嘴唇：點 17, 18, 19, 20
            
            # 計算嘴唇開合度
            upper_lip = face_landmarks.landmark[13]
            lower_lip = face_landmarks.landmark[17]
            
            lip_distance = abs(upper_lip.y - lower_lip.y)
            
            # 判斷是否在說話
            is_speaking = lip_distance > 0.05
            
            return is_speaking
    
    return False
```

---

### 多模態整合

```python
from pyannote.audio import Pipeline
import mediapipe as mp
import cv2

class MultimodalSpeakerDetection:
    def __init__(self):
        # 語音分離
        self.audio_pipeline = Pipeline.from_pretrained(
            "pyannote/speaker-diarization-3.1"
        )
        
        # 嘴部檢測
        self.face_mesh = mp.solutions.face_mesh.FaceMesh()
    
    def detect(self, video_path, audio_path):
        # 1. 語音檢測
        audio_diarization = self.audio_pipeline(audio_path)
        
        # 2. 視覺檢測
        video_diarization = self.detect_lip_movement(video_path)
        
        # 3. 多模態整合
        integrated = self.integrate_modalities(
            audio_diarization,
            video_diarization
        )
        
        return integrated
    
    def detect_lip_movement(self, video_path):
        cap = cv2.VideoCapture(video_path)
        speaking_segments = []
        
        while cap.isOpened():
            ret, frame = cap.read()
            if not ret:
                break
            
            # 轉換顏色
            rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
            
            # 檢測
            results = self.face_mesh.process(rgb_frame)
            
            if results.multi_face_landmarks:
                # 計算嘴唇開合度
                # ... (詳細邏輯見上方)
                pass
        
        cap.release()
        return speaking_segments
    
    def integrate_modalities(self, audio, video):
        # 整合語音和視覺結果
        # 使用投票機制或機器學習模型
        pass
```

---

## 📋 實施步驟

### 階段 1: MediaPipe 安裝與測試

```bash
# 1. 安裝 MediaPipe
pip install mediapipe

# 2. 測試基本功能
python3 scripts/test_mediapipe_lip.py

# 3. 驗證準確度
python3 scripts/validate_lip_detection.py
```

**預計時間**: 1-2 小時

---

### 階段 2: Pose 處理器升級

```python
# 升級現有 pose_processor.py
# 添加嘴部動作檢測功能

class PoseProcessor:
    def __init__(self):
        self.face_mesh = mp.solutions.face_mesh.FaceMesh()
    
    def process(self, video_path):
        # 現有人臉檢測
        # + 新增嘴部動作檢測
        pass
```

**預計時間**: 2-3 小時

---

### 階段 3: 多模態整合

```python
# 創建整合處理器
class MultimodalIntegration:
    def __init__(self):
        self.asr_processor = ASRProcessor()
        self.face_processor = FaceProcessor()
        self.pose_processor = PoseProcessor()
        self.pyannote_pipeline = Pipeline.from_pretrained(...)
    
    def process(self, video_path):
        # 1. ASR 轉錄
        asr_result = self.asr_processor.process(video_path)
        
        # 2. 人臉檢測
        face_result = self.face_processor.process(video_path)
        
        # 3. 嘴部動作檢測
        pose_result = self.pose_processor.process(video_path)
        
        # 4. 說話人分離
        speaker_result = self.pyannote_pipeline(video_path)
        
        # 5. 多模態整合
        integrated_result = self.integrate_all(
            asr_result,
            face_result,
            pose_result,
            speaker_result
        )
        
        return integrated_result
```

**預計時間**: 3-4 小時

---

### 階段 4: 測試與優化

```bash
# 1. 短影片測試
python3 scripts/test_multimodal_short.py

# 2. 長影片測試
python3 scripts/test_multimodal_long.py

# 3. 準確度驗證
python3 scripts/validate_accuracy.py

# 4. 效能優化
python3 scripts/optimize_performance.py
```

**預計時間**: 4-6 小時

---

## 📊 資源需求

### 硬體需求

| 組件 | 最低需求 | 推薦配置 |
|------|---------|---------|
| **CPU** | 4 核心 | 8 核心 |
| **記憶體** | 8 GB | 16 GB |
| **GPU** | 可選 | M4 Mac Mini |
| **儲存** | 10 GB | 50 GB |

---

### 軟體依賴

```bash
# 核心依賴
mediapipe>=0.9.0
opencv-python>=4.5.0
pyannote.audio>=3.4.0
whisperx>=3.7.0

# 可選依賴
torch>=2.5.0
numpy>=1.20.0
```

---

## ✅ 預期成果

### 功能提升

- ✅ 說話人識別準確度 +5-15%
- ✅ 重疊說話檢測改善 +10-15%
- ✅ 多人會議識別改善 +8-12%
- ✅ 噪音環境魯棒性提升

---

### 效能指標

- ⚠️ 處理時間增加 10%
- ⚠️ 記憶體使用增加 2-4 GB
- ✅ 準確度提升至 95%+

---

## 🎯 決策建議

### 立即實施如果：

- ✅ 需要最高準確度（95%+）
- ✅ 多人會議場景多
- ✅ 重疊說話常見
- ✅ 硬體資源充足

### 暫緩實施如果：

- ⚠️ 當前準確度已足夠（85-90%）
- ⚠️ 雙人對話為主
- ⚠️ 硬體資源有限
- ⚠️ 時間緊迫

---

## 📁 相關文件

```
scripts/
├── LIP_MOVEMENT_INTEGRATION_PLAN.md   # 本計畫
├── pose_processor.py                  # 現有 Pose 處理器
├── test_mediapipe_lip.py              # MediaPipe 測試（待創建）
├── multimodal_integration.py          # 多模態整合（待創建）
└── validate_accuracy.py               # 準確度驗證（待創建）
```

---

**計畫完成日期**: 2026-04-02  
**實施難度**: ⭐⭐⭐⭐ (高)  
**預計時間**: 10-15 小時  
**預期效果**: 準確度 +5-15%
