HDP3.1测试

1：TestDFSIO测试HDFS的IO性能
写入：
hadoop jar /usr/hdp/3.1.4.0-315/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.4.0-315-tests.jar TestDFSIO -write -nrFiles 10 -size 10MB -resFile /tmp/TestDFSIOresult.txt
读取：
hadoop jar /usr/hdp/3.1.4.0-315/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.4.0-315-tests.jar TestDFSIO -read -nrFiles 10 -size 10 -resFile /tmp/TestDFSIOresults.txt
清空数据：
hadoop jar /usr/hdp/3.1.4.0-315/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.4.0-315-tests.jar TestDFSIO -clean

2：TeraSort输入数据由Hadoop TeraGen产生
生成数据：
teragen数值单位是行数，每行100个字节，要产生1G的数据量，则这个数值应为1G/100=10000000(7个0)
hadoop jar /usr/hdp/3.1.4.0-315/hadoop-mapreduce/hadoop-mapreduce-examples.jar teragen 10000000 /terasort/input
排序:
hadoop jar /usr/hdp/3.1.4.0-315/hadoop-mapreduce/hadoop-mapreduce-examples.jar terasort /terasort/input /terasort/output

3：HiBench是一个大数据基准测试工具，它包含hadoopbench、sparkbench、flinkbench、stormbench、gearpumpbench等多个模块。
github上下载源码： https://github.com/intel-hadoop/HiBench
编译HiBench中简单构建所有模块，请使用以下命令：
mvn -Dspark=2.1 -Dscala=2.11 clean package
编译所有模板，耗费大量时间，也可以只构建特定的框架来加速编译过程
mvn -Phadoopbench -Dspark=2.1 -Dscala=2.11 clean package
详细说明请参见官方文档：
https://github.com/intel-hadoop/HiBench/blob/master/docs/build-hibench.md

4：spark测试
cd /usr/hdp/3.1.4.0-315/spark2/examples/jars
#本地模式
spark-submit --master local --class org.apache.spark.examples.SparkPi
/usr/hdp/3.1.4.0-315/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.4.0-315.jar 10
#yarn模式
spark-submit --master yarn --class org.apache.spark.examples.SparkPi
/usr/hdp/3.1.4.0-315/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.4.0-315.jar 10