关于如何正常运行NCCL的example样例程序

首先给出最终的编译命令，如果有大佬知道更优雅的方式，还请赐教，只看文档但是跑不通程序真的很难受。

nvcc -ccbin mpic++ test.cu -o test -L/usr/local/cuda/lib64 -lnccl
mpirun -n 4 ./test

“在编译期间，CUDA编译器驱动程序nvcc将 .cu文件拆分为宿主代码和设备代码，并调用宿主编译器来编译宿主代码并分别编译设备代码。 最后，它将生成的主机对象代码和设备PTX代码合并到单个可执行文件中。您需要 nvcc的 -ccbin选项，例如 要使用 icpc(Intel C ++编译器)，请使用 nvcc -ccbin=icpc(假设 $PATH中提供了 icpc)”

根据上面的知识点，因为在nccl的样例代码中，程序的运行依赖于MPI，使用了“mpi.h”的头文件，所以在编译时需要加上-ccbin mpicc++

-L /usr/local/cuda/lib64，表示将/usr/local/cuda/lib64目录作为第一个寻找库文件的目录， 寻找的顺序是：/usr/local/cuda/lib64–>/lib–>/usr/lib–>/usr/local/lib
-l nccl , 表示**寻找动态链接库文件**libnccl.so（也就是文件名去掉前缀和后缀所代表的库文件)
如果 加上编译选项-static，表示寻找静态链接库文件，也就是libnccl.a

官方文档给出的样例代码如下, 注意本文件的后缀是 .cu, 我之前一直尝试用.cpp 或者.c来完成编译，发现根本不行

#include 
#include 
#include 
#include "mpi.h"
#include 
#include 
 
 
#define MPICHECK(cmd) do {                          \
  int e = cmd;                                      \
  if( e != MPI_SUCCESS ) {                          \
    printf("Failed: MPI error %s:%d '%d'\n",        \
        __FILE__,__LINE__, e);   \
    exit(EXIT_FAILURE);                             \
  }                                                 \
} while(0)
 
 
#define CUDACHECK(cmd) do {                         \
  cudaError_t e = cmd;                              \
  if( e != cudaSuccess ) {                          \
    printf("Failed: Cuda error %s:%d '%s'\n",             \
        __FILE__,__LINE__,cudaGetErrorString(e));   \
    exit(EXIT_FAILURE);                             \
  }                                                 \
} while(0)
 
 
#define NCCLCHECK(cmd) do {                         \
  ncclResult_t r = cmd;                             \
  if (r!= ncclSuccess) {                            \
    printf("Failed, NCCL error %s:%d '%s'\n",             \
        __FILE__,__LINE__,ncclGetErrorString(r));   \
    exit(EXIT_FAILURE);                             \
  }                                                 \
} while(0)
 
 
static uint64_t getHostHash(const char* string) {
  // Based on DJB2a, result = result * 33 ^ char
  uint64_t result = 5381;
  for (int c = 0; string[c] != '\0'; c++){
    result = ((result << 5) + result) ^ string[c];
  }
  return result;
}
 
 
static void getHostName(char* hostname, int maxlen) {
  gethostname(hostname, maxlen);
  for (int i=0; i< maxlen; i++) {
    if (hostname[i] == '.') {
        hostname[i] = '\0';
        return;
    }
  }
}
 
 
int main(int argc, char* argv[])
{
  int size = 32*1024*1024;
 
 
  int myRank, nRanks, localRank = 0;
 
 
  //initializing MPI
  MPICHECK(MPI_Init(&argc, &argv));
  MPICHECK(MPI_Comm_rank(MPI_COMM_WORLD, &myRank));
  MPICHECK(MPI_Comm_size(MPI_COMM_WORLD, &nRanks));
 
 
  //calculating localRank which is used in selecting a GPU
  uint64_t hostHashs[nRanks];
  char hostname[1024];
  getHostName(hostname, 1024);
  hostHashs[myRank] = getHostHash(hostname);
  MPICHECK(MPI_Allgather(MPI_IN_PLACE, 0, MPI_DATATYPE_NULL, hostHashs, sizeof(uint64_t), MPI_BYTE, MPI_COMM_WORLD));
  for (int p=0; p