在IntelliJ IDEA软件中用Python语言进行词频统计

1、首先在IntelliJ IDEA软件中插入Python插件，步骤如下：

①、右击“File”，然后点击设置

②、先点击左侧的插件“Plugins”，然后输入“python”，点击右侧的“Install”，下载完后会出现一个重新启动的窗口，直接点击重启，之后点击“OK”。 

 

2、插件完成后，创建Project

①、先点击左侧的“Python”，默认Project SDK，之后点击“Next”

②、直接点击“Next”

③、第一行自定义Project name，第二行可点击右侧选择路径，然后Finish

 ④、创建Project后，右击IDEA——>New——>Python File

⑤、自定义名字

 

⑥、填写代码，其中“word.txt”文本文档放在“IDEA”里面。完成后点击“运行按钮”。

 

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("WordCount").setMaster("local")
sc = SparkContext(conf=conf)
inputFile = "E:/课程软件/IDEA/word.txt"
textFile = sc.textFile(inputFile)
Count = textFile.flatMap(lambda line: line.split(",")).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)
Count.foreach(print)

 ⑦、运行结果，最后一行最后一个数字是0，表示无错误。