数据并行

2017-03-30 11:21:00   0  举报





仅支持查看

数据并行是一种在计算机科学中常用的技术，用于同时处理大量数据。它通过将数据分割成小块，并在多个处理器或计算节点上并行处理这些小块，从而提高处理速度和效率。这种技术通常用于需要处理大量数据的应用程序，如图像处理、视频编码、机器学习等。数据并行的优点是可以充分利用多核处理器的计算能力，加速数据处理过程；缺点是需要对数据进行分割和合并，增加了编程复杂度。

作者其他创作

大纲/内容

GPU0

隐含层1

隐含层2

10Gb/s

网卡

2x 128Gb/s

反向传播

交换梯度

GPU1

GPU2