数据描述
本数据共有两个表格，GoodsOrder.csv和GoodsTypes.csv，分别是商品购买信息和商品类型信息。
分析目标
分析商品的销售信息，了解商品销量。然后通过分析商品之间的关联度，找到达到所制定标准的商品进行推荐。
分析方法
对数据进行预处理，使其符合Apriori关联规则的算法要求，然后找出数据值中频繁出现的数据集合，导入python自带算法包，设置参数，找出达到置信度、支持度、提升度的商品组合。
数据处理与分析
数据预处理
1、首先导入包，读取数据并查看数据前10行
In:
# 导入pandas、numpy、matplotlib包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
# 读取购买数据并查看
GoodsOrder = pd.read_csv('C:/data/Apriori/GoodsOrder.csv',encoding = 'gbk')
GoodsOrder.head(10)
Out:
id Goods
0 1 柑橘类水果
1 1 人造黄油
2 1 即食汤
3 1 半成品面包
4 2 咖啡
5 2 热带水果
6 2 酸奶
7 3 全脂牛奶
8 4 奶油乳酪
9 4 肉泥
2、查看数据基本信息
In:
GoodsOrder.info()
Out:
RangeIndex: 43367 entries, 0 to 43366
Data columns (total 2 columns):
id 43367 non-null int64
Goods 43367 non-null object
dtypes: int64(1), object(1)
memory usage: 677.7+ KB
3、查看是否存在重复数据
In:
GoodsOrder.duplicated().sum()
Out:
0
从数据信息看出不存在空值，上述结果看出不存在重复值，因此无需进行处理。
商品销量查看与分析
销量前十的商品分析
1、查看销量前十商品
In:
sale_hot = GoodsOrder.groupby(['Goods']).count().sort_values('id',ascending = False).reset_index()
sale_hot.head(10)
Out:
Goods id
0 全脂牛奶 2513
1 其他蔬菜 1903
2 面包卷 1809
3 苏打 1715
4 酸奶 1372
5 瓶装水 1087
6 根茎类蔬菜 1072
7 热带水果 1032
8 购物袋 969
9 香肠 924
2、绘制销量前十条形图
In:
x = sale_hot[:10]['Goods']
y = sale_hot[:10]['id']
plt.figure(figsize=(10,5))
plt.title('销量TOP10商品')
plt.xlabel('销量')
plt.ylabel('商品')
plt.yticks(range(len(x)),x)
plt.barh(range(len(x)),y)
plt.show()
Out:
image.png
3、计算销量前10的商品销量在总销量中的占比
In:
sale_total = sale_hot['id'].sum()
sale_acc = sale_hot[:10]['id'] / sale_total
sale_hot_acc = sale_hot[:10]
sale_hot_acc['percent'] = sale_acc
sale_hot_acc
Out:
Goods id percent
0 全脂牛奶 2513 0.057947
1 其他蔬菜 1903 0.043881
2 面包卷 1809 0.041714
3 苏打 1715 0.039546
4 酸奶 1372 0.031637
5 瓶装水 1087 0.025065
6 根茎类蔬菜 1072 0.024719
7 热带水果 1032 0.023797
8 购物袋 969 0.022344
9 香肠 924 0.021307
商品类型销量分析
1、读取商品数据并查看
In:
GoodsTypes = pd.read_csv('C:/data/Apriori/GoodsTypes.csv',encoding = 'gbk')
GoodsTypes.head(10)
Out:
Goods Types
0 白饭 熟食
1 白酒 酒精饮料
2 白兰地 酒精饮料
3 白面包 西点
4 半成品面包 西点
5 包装袋 百货
6 包装水果/蔬菜 果蔬
7 保鲜膜/袋 百货
8 报纸 百货
9 爆米花 零食
2、将两张表合并，并计算各商品的销售量
In:
Goods_merge = pd.merge(sale_hot,GoodsTypes)
Goods_merge.head(10)
Out:
Goods id Types
0 全脂牛奶 2513 非酒精饮料
1 其他蔬菜 1903 果蔬
2 面包卷 1809 西点
3 苏打 1715 非酒精饮料
4 酸奶 1372 食品类
5 瓶装水 1087 非酒精饮料
6 根茎类蔬菜 1072 果蔬
7 热带水果 1032 果蔬
8 购物袋 969 百货
9 香肠 924 肉类
3、计算各商品类别的总销量
In:
sale_type = Goods_merge.groupby(['Types']).sum().sort_values('id',ascending = False).reset_index()
sale_type_p =sale_type['id'] / sale_total
sale_type['percent'] = sale_type_p
sale_type
Out:
Types id percent
0 非酒精饮料 7594 0.175110
1 西点 7192 0.165840
2 果蔬 7146 0.164780
3 米粮调料 5185 0.119561
4 百货 5141 0.118546
5 肉类 4870 0.112297
6 酒精饮料 2287 0.052736
7 食品类 1870 0.043120
8 零食 1459 0.033643
9 熟食 541 0.012475
4、绘制饼图查看各类商品销量占比
In:
data = sale_type['percent']
plt.figure(figsize=(7,7))
plt.title('商品销量占比')
plt.pie(data,labels = sale_type['Types'],autopct = '%1.2f%%') # 设置数据标签保留2位小数
plt.show()
Out:
image.png
上图可以看出，非酒精饮料、西点、果蔬是销量最高的三个类别，占比超过总销量的50%，接下来可以将非酒精饮料进一步分析，查看内部哪些商品销量更高。
非酒精饮料内部商品销量分析
1、计算非酒精饮料内部商品销量占比
In:
sale_nowine = Goods_merge.loc[Goods_merge['Types'] == '非酒精饮料']
sale_nowine_total = sale_nowine['id'].sum()
sale_nowine_p =sale_nowine['id'] / sale_nowine_total
sale_nowine['percent'] = sale_nowine_p
sale_nowine
Out:
Goods id Types percent
0 全脂牛奶 2513 非酒精饮料 0.330919
3 苏打 1715 非酒精饮料 0.225836
5 瓶装水 1087 非酒精饮料 0.143139
16 水果/蔬菜汁 711 非酒精饮料 0.093627
22 咖啡 571 非酒精饮料 0.075191
38 超高温杀菌的牛奶 329 非酒精饮料 0.043324
45 其他饮料 279 非酒精饮料 0.036740
51 一般饮料 256 非酒精饮料 0.033711
101 速溶咖啡 73 非酒精饮料 0.009613
125 茶 38 非酒精饮料 0.005004
144 可可饮料 22 非酒精饮料 0.002897
2、绘制饼图查看各类商品销量占比
In:
data = sale_nowine['percent']
plt.figure(figsize=(7,7))
plt.title('非酒精饮料内部商品销量占比')
explode = (0.02,0.03,0.04,0.05,0.06,0.07,0.08,0.08,0.3,0.1,0.3)
plt.pie(data,explode = explode,labels = sale_nowine['Goods'],autopct = '%1.2f%%') # 设置数据标签保留2位小数
plt.show()
Out:
image.png
上图可以看出，非酒精饮料中，销量最高的是全脂牛奶，占非酒精类饮料销量的33%，其次是苏打水，和全脂牛奶一起占据50%以上比例。
构建模型进行推荐
1、构建用户——产品矩阵
In:
GoodsOrder_new = (GoodsOrder.groupby(['id', 'Goods']).size().unstack().reset_index().fillna(0).set_index('id'))
2、生成频繁项集：取支持度最小为0.02
In:
from mlxtend.frequent_patterns import association_rules
from mlxtend.frequent_patterns import apriori
frequent = apriori(GoodsOrder_new, min_support=0.02, use_colnames=True, max_len=3)
frequent
Out:
support itemsets
0 0.025826 [一般肉类]
1 0.026029 [一般饮料]
2 0.058566 [人造黄油]
3 0.075648 [仁果类水果]
4 0.255516 [全脂牛奶]
5 0.193493 [其他蔬菜]
6 0.028368 [其他饮料]
7 0.025013 [冰淇淋]
8 0.058973 [冷冻热狗肠]
9 0.048094 [冷冻蔬菜]
10 0.028368 [冷冻餐饭]
11 0.053279 [凝乳]
12 0.024504 [切片奶酪]
13 0.032944 [卫生用品]
14 0.021047 [口香糖]
15 0.058058 [咖啡]
16 0.037824 [咸点心]
17 0.039654 [奶油乳酪]
18 0.038434 [威化饼]
19 0.049619 [巧克力]
20 0.079817 [报纸]
21 0.063447 [本地蛋类]
22 0.082766 [柑橘类水果]
23 0.108998 [根茎类蔬菜]
24 0.072293 [水果/蔬菜汁]
25 0.033249 [汉堡肉]
26 0.028063 [油]
27 0.031012 [洋葱]
28 0.026029 [火腿]
29 0.104931 [热带水果]
... ... ...
92 0.024809 [其他蔬菜, 瓶装水]
93 0.022572 [其他蔬菜, 糕点]
94 0.032740 [其他蔬菜, 苏打]
95 0.023183 [其他蔬菜, 购物袋]
96 0.043416 [其他蔬菜, 酸奶]
97 0.028876 [其他蔬菜, 酸奶油]
98 0.042603 [其他蔬菜, 面包卷]
99 0.026945 [其他蔬菜, 香肠]
100 0.020031 [其他蔬菜, 黄油]
101 0.021657 [柑橘类水果, 酸奶]
102 0.021047 [根茎类蔬菜, 热带水果]
103 0.025826 [根茎类蔬菜, 酸奶]
104 0.024301 [根茎类蔬菜, 面包卷]
105 0.020844 [热带水果, 苏打]
106 0.029283 [热带水果, 酸奶]
107 0.024606 [热带水果, 面包卷]
108 0.028978 [瓶装水, 苏打]
109 0.022979 [瓶装水, 酸奶]
110 0.024199 [瓶装水, 面包卷]
111 0.021047 [糕点, 苏打]
112 0.020946 [糕点, 面包卷]
113 0.024606 [苏打, 购物袋]
114 0.027351 [苏打, 酸奶]
115 0.038332 [苏打, 面包卷]
116 0.024301 [苏打, 香肠]
117 0.020742 [酸奶, 酸奶油]
118 0.034367 [酸奶, 面包卷]
119 0.030605 [面包卷, 香肠]
120 0.023183 [全脂牛奶, 其他蔬菜, 根茎类蔬菜]
121 0.022267 [全脂牛奶, 其他蔬菜, 酸奶]
122 rows × 2 columns
3、生成规则：以提升度为标准
In:
rules = association_rules(frequent, metric="lift", min_threshold=0.8)
rules.head(10)
Out:
antecedants consequents antecedent support consequent support support confidence lift leverage conviction
0 (人造黄油) (全脂牛奶) 0.058566 0.255516 0.024199 0.413194 1.617098 0.009235 1.268706
1 (全脂牛奶) (人造黄油) 0.255516 0.058566 0.024199 0.094708 1.617098 0.009235 1.039922
2 (全脂牛奶) (仁果类水果) 0.255516 0.075648 0.030097 0.117788 1.557043 0.010767 1.047765
3 (仁果类水果) (全脂牛奶) 0.075648 0.255516 0.030097 0.397849 1.557043 0.010767 1.236375
4 (其他蔬菜) (仁果类水果) 0.193493 0.075648 0.026131 0.135050 1.785237 0.011494 1.068676
5 (仁果类水果) (其他蔬菜) 0.075648 0.193493 0.026131 0.345430 1.785237 0.011494 1.232118
6 (热带水果) (仁果类水果) 0.104931 0.075648 0.020437 0.194767 2.574648 0.012499 1.147931
7 (仁果类水果) (热带水果) 0.075648 0.104931 0.020437 0.270161 2.574648 0.012499 1.226392
8 (其他蔬菜) (全脂牛奶) 0.193493 0.255516 0.074835 0.386758 1.513634 0.025394 1.214013
9 (全脂牛奶) (其他蔬菜) 0.255516 0.193493 0.074835 0.292877 1.513634 0.025394 1.140548
4、推荐结果：提升度最小值为1，置信度最小值为0.35
In:
R_result = rules[(rules['lift'] >= 1) & (rules['confidence'] >= 0.35)]
R_result.sort_values(by=['lift'], axis=0, ascending=False)
Out:
antecedants consequents antecedent support consequent support support confidence lift leverage conviction
124 (全脂牛奶, 根茎类蔬菜) (其他蔬菜) 0.048907 0.193493 0.023183 0.474012 2.449770 0.013719 1.533320
59 (根茎类蔬菜) (其他蔬菜) 0.108998 0.193493 0.047382 0.434701 2.246605 0.026291 1.426693
77 (酸奶油) (其他蔬菜) 0.071683 0.193493 0.028876 0.402837 2.081924 0.015006 1.350565
130 (酸奶, 全脂牛奶) (其他蔬菜) 0.056024 0.193493 0.022267 0.397459 2.054131 0.011427 1.338511
128 (其他蔬菜, 酸奶) (全脂牛奶) 0.043416 0.255516 0.022267 0.512881 2.007235 0.011174 1.528340
50 (黄油) (全脂牛奶) 0.055414 0.255516 0.027555 0.497248 1.946053 0.013395 1.480817
65 (猪肉) (其他蔬菜) 0.057651 0.193493 0.021657 0.375661 1.941476 0.010502 1.291779
14 (凝乳) (全脂牛奶) 0.053279 0.255516 0.026131 0.490458 1.919481 0.012517 1.461085
122 (其他蔬菜, 根茎类蔬菜) (全脂牛奶) 0.047382 0.255516 0.023183 0.489270 1.914833 0.011076 1.457687
83 (黄油) (其他蔬菜) 0.055414 0.193493 0.020031 0.361468 1.868122 0.009308 1.263065
19 (本地蛋类) (全脂牛奶) 0.063447 0.255516 0.029995 0.472756 1.850203 0.013783 1.412030
55 (本地蛋类) (其他蔬菜) 0.063447 0.193493 0.022267 0.350962 1.813824 0.009991 1.242619
44 (酸奶油) (全脂牛奶) 0.071683 0.255516 0.032232 0.449645 1.759754 0.013916 1.352735
22 (根茎类蔬菜) (全脂牛奶) 0.108998 0.255516 0.048907 0.448694 1.756031 0.021056 1.350401
12 (冷冻蔬菜) (全脂牛奶) 0.048094 0.255516 0.020437 0.424947 1.663094 0.008149 1.294636
0 (人造黄油) (全脂牛奶) 0.058566 0.255516 0.024199 0.413194 1.617098 0.009235 1.268706
28 (牛肉) (全脂牛奶) 0.052466 0.255516 0.021251 0.405039 1.585180 0.007845 1.251315
27 (热带水果) (全脂牛奶) 0.104931 0.255516 0.042298 0.403101 1.577595 0.015486 1.247252
42 (酸奶) (全脂牛奶) 0.139502 0.255516 0.056024 0.401603 1.571735 0.020379 1.244132
3 (仁果类水果) (全脂牛奶) 0.075648 0.255516 0.030097 0.397849 1.557043 0.010767 1.236375
52 (黑面包) (全脂牛奶) 0.064870 0.255516 0.025216 0.388715 1.521293 0.008641 1.217899
8 (其他蔬菜) (全脂牛奶) 0.193493 0.255516 0.074835 0.386758 1.513634 0.025394 1.214013
31 (猪肉) (全脂牛奶) 0.057651 0.255516 0.022166 0.384480 1.504719 0.007435 1.209520
36 (糕点) (全脂牛奶) 0.088968 0.255516 0.033249 0.373714 1.462587 0.010516 1.188729
20 (柑橘类水果) (全脂牛奶) 0.082766 0.255516 0.030503 0.368550 1.442377 0.009355 1.179008
24 (水果/蔬菜汁) (全脂牛奶) 0.072293 0.255516 0.026640 0.368495 1.442160 0.008168 1.178904