并行算法中的Work and Span

定义

• primitive operations: 基本运算，即任何一步小操作，可以是加减乘除等，每一步运算消耗单位时间（ unit time ）
• time steps: 每个 time step 中可并行地执行多个 primitive operations ，所以每个 time step 所耗费是时长为单位时间
  注：Timesteps 是我们理解并行计算的关键
  为了解释 Timesteps 和 primitive operations 的关系，下面通过图解解方程（运用 Cramer 法则）来说明（为方便后面对比说明，先假设此时只有4个处理器，图中反映为每个 Timestep 有多少列）
  $$\{\begin{array}{l}au+bv=x\\ cu+dv=y\end{array}$$
  将计算解出 $u\text{ 和 }v$ 的过程按照下图分割
  

下面正式引入并行算法中的一些概念：

• $P$：表示处理器（processors）的个数，一般用字母$p(P)$表示
  例如Fig1表示有4个处理器的情况，$P=4$
• $T_p$: 在$p$个处理器的情况下，从计算开始到结束所花的总时间（括计算和等待时间）
  注1：所谓等待时间，很直观地表现在 Timestep 上，即必须执行完 Timestep 1 才可开始 Timestep 2
  注2：例如Fig1中的$T_4=4$（4个 Timestep）
• $Work$: 完成算法所需的基础操作的个数和（反映为总共消耗了多少单位时间）。当处理器个数为1时，Timestep个数等于基础操作个数，所以可以把 Work 记做$T_1$（或$W$）
• $Span$: 由于数据依赖关系（简单说就是必须执行完某一步骤后，才能进行下一步），必须 按照顺序执行的最长路径，即在最大并行度下的$T_{p_m}$，记作$T_{\infty }($或$S)$ ，其中 $p_m$为实现最大并行度所需处理器的个数
  注：所谓最大并行度，就是$P=p_m$与$P=\infty$情况一致，下图中 6 processors 和 ∞ processors 没有区别，称$p_m$为最大并行度
  下图是在$P=6$下，解Fig1中的方程
  

对比Fig1和Fig2，Fig2中的time step数就是在最大并行度下的Span的值

• $cost$：$p{T}_p$
  注：这里的$cost$与常规意义下的耗费不同，因为在并行算法中每个Timestep中没有使用的处理器也算是一种浪费，所以$cost$记作上图中所有方格个数
• $Speedup$：与串行执行相比，并行执行在速度上的增加（程度）$S_p=\frac{T_1}{T_p}(\frac{W}{T_p}$)
  当 $S_p=P$ 时，此时的 Speedup 被称作perfect linear speedup。此时反映在上面的 TimeSteps 图上很直观，每个方格均被填满，没有那一时刻有一台机器被浪费。
• $Efficiency$：每个执行器的Speedup，用 $\frac{S_p}{P}$表示
• $Parallelism$：并行度 用比值 $\frac{T_1}{T_{\infty }}$($\frac{W}{S}$)表示，记作$\mathcal{P}$
• $Slackness$

著名定律

1. Work law. cost至少是work：$p{T}_p\ge T_1$

2. Span law. 有限的$p$个处理器不可能胜过无限个处理器，即$T_p\ge T_{\infty }$

   由此，$if$ $p>\frac{T_1}{T_{\infty }}$我们可以得到Speedup的上界$\Rightarrow$

   ∵ T p ≥ T ∞ ∴ T 1 T p ≤ T 1 T ∞ < p \because T_p \ge T_∞ \therefore \frac{T_1}{T_p} \leq \frac{T_1}{T_∞}

   ∵Tp​≥T∞​∴Tp​T1​​≤T∞​T1​​<p

3. Brent's law.

   记$n_k$为每个time step的primitive operations，其中$k=1,2...N$

   $T_p\le \frac{T_1-T_N}{p}+T_N(其中p\le {\max }_k{n}_k)$

   推论：$T_p\le \frac{T_1}{p}+T_N$ $(T_p\le \frac{W}{P}+S)$

   证明：

   注意到两点，由1,2即可得证
   
   1. $T_p\le {\sum }_{k=1}^N\lceil \frac{n_k}{p}\rceil$
   
   2. 对$\forall k,m\in Z^{+}\lceil \frac{k}{m}\rceil \le \frac{k+m-1}{m}$

4. Amdahl’s law

5. Gustafson’s law

参考文献:Analysis of parallel algorithms 维基百科[1]