PyMongo使用入门(二)

聚合管道和MapReduce知识点

import pymongo
from bson import Code
from pymongo import MongoClient
from bson.objectid import ObjectId
from bson.son import SON
import datetime


client = MongoClient('localhost', 27017)
db = client.PymongoDemo

"""result = db.things.insert_many([{"x": 1, "tags": ["dog", "cat"]}, {"x": 2, "tags": ["cat"]}, {"x": 2, "tags": ["mouse", "cat", "dog"]}, {"x": 3, "tags": []}]) print(result.inserted_ids)"""


""" 管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。 MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。 表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。 $project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。 $match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。 $limit：用来限制MongoDB聚合管道返回的文档数。 $skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。 $unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。 $group：将集合中的文档分组，可用于统计结果。 $sort：将输入文档排序后输出。 $geoNear：输出接近某一地理位置的有序文档。 """
pipeline = [
     {"$unwind": "$tags"},
     {"$group": {"_id": "$tags", "count": {"$sum": 1}}},
     {"$sort": SON([("count", -1), ("_id", -1)])}
     ]

"""以上实例类似sql语句： select tags, count(*) from things group by tags"""
print(list(db.things.aggregate(pipeline)))

"""使用command()方法 要运行这种聚合的执行计划："""
print(db.command('aggregate', 'things', pipeline=pipeline, explain=True))

print("-"*20)

mapper = Code(""" function () { this.tags.forEach(function(z) { emit(z, 1); }); } """)

reducer = Code(""" function (key, values) { var total = 0; for (var i = 0; i < values.length; i++) { total += values[i]; } return total; } """)

"""最后我们调用map_reduce()和遍历结果集"""
result = db.things.map_reduce(mapper, reducer, "myresults")
for doc in result.find():
    print(doc)
print("-"*20)
#高级 Map/Reduce
db.things.map_reduce(mapper, reducer, "myresults", full_response=True)

result = db.things.map_reduce(mapper, reducer, "myresults", query={"x": {"$lt": 2}})
for doc in result.find():
    print(doc)
print("-"*20)
# db.things.map_reduce(mapper, reducer, out=SON([("replace", "results"), ("db", "outdb")]), full_response=True)

""" group()方法提供了一些相同的功能SQL的GROUP BY。比map reduce简单，需要提供一个键到分组，作为聚集的初始值和reduce函数。 """
reducer = Code(""" function(obj, prev){ prev.count++; } """)
results = db.things.group(key={"x":1}, condition={}, initial={"count": 0}, reduce=reducer)
for doc in results:
    print(doc)

运行结果如图: