sprk学习之二

lines = sc.textFile()    加载RDD
=====================================================================
errors=lines.filter(_.startsWith("ERROR"))
errors.persist()
                                             transaction
=======================================================================

Mysql_error=error.filter(_.contains("MySQL")).count
http_error=error.filter(_.contains("Http")).count       count  action
=======================================================================

 

你可能感兴趣的:(spark)