TECHNICAL DOCS
技术文档
公式对照、术语说明与验证报告
公式对照
原方案与本框架的核心公式差异
| 分数 | 原公式：MHA / Softmax | 本框架：GRA |
|---|---|---|
| 分数 | s_j = q·k_j / sqrt(d) | s_t = (U^T q)·(U^T k_t) / sqrt(r) − λ·dist |
| 权重 | p = Softmax(s), 全长 n | p = Softmax(s); 对照真理 λ=0 |
| 窗 | 无; 或 keep-k 启发式 (H2O / Snap / SLLM) | W = ceil(ln(1/θ)/λ) |
| 输出 | y = sum_j p_j v_j | y_α = U sum_t p_t k_r_t |
| 状态 Z | K,V ∈ R^{n×d} | 架构态 Kr 预存为 (r,n) 连续 |
| 误差相对真理 | 噪声满维 Softmax: D=1.85e-2 (CPU n=128) | 噪声 GRA als: D=6.98e-05; raw 6.93e-3; 干净 3.88e-13 |