借势API电商数据采集汇总分析

        电商数据采集的网页抓取数据、淘宝、天猫、京东等平台的电商数据抓取,网页爬虫、采集网站数据、网页数据采集软件、python爬虫、HTM网页提取、APP数据抓包、APP数据采集、一站式网站采集技术、BI数据的数据分析、数据标注等成为大数据发展中的热门技术关键词。那么电商数据采集的方法有哪些呢?我给大家分享一下,我爬虫的个人经验,我们在采集类似电商数据网站的时候会遇到什么技术问题,然后再根据这些问题给大家分享采集方案。

借势API电商数据采集汇总分析_第1张图片

获取key和密钥

参数说明

通用参数说明

url说明平台:淘宝,京东等, API类型:[item_search,item_get,item_search_shop等]

version:API版本

key:调用key,获取测试key&密钥:test_api_key

secret:调用secret,测试secret:(不用填写)

cache:[yes,no]默认yes,将调用缓存的数据,速度比较快

result_type:[json,xml,serialize,var_export]返回数据格式,默认为json

lang:[cn,en,ru] 翻译语言,默认cn简体中文

secret:密钥

API:item_search 参数说明:

q:搜索关键字

cat:分类ID

start_price:开始价格

end_price:结束价格

sort:排序[bid,bid,bid2,_bid2,_sale,_credit]

(bid:总价,bid2:商品价格,sale:销量,credit信用,加前缀为从大到小排序)

page:页数

page_size:每页宝贝数量,默认40

seller_info:是否获取商家信息[yes,no],默认yes

API:item_get 参数说明: num_iid:宝贝ID

此API目前支持以下基本接口:

item_get 获得淘宝商品详情

item_get_pro 获得淘宝商品详情高级版

item_review 获得淘宝商品评论

item_fee 获得淘宝商品快递费用

item_password 获得淘口令真实url

item_list_updown 批量获得淘宝商品上下架时间

seller_info 获得淘宝店铺详情

item_search 按关键字搜索淘宝商品

item_search_tmall 按关键字搜索天猫商品

item_search_pro 高级关键字搜索淘宝商品

item_search_img 按图搜索淘宝商品(拍立淘)

item_search_shop 获得店铺的所有商品

item_search_seller 搜索店铺列表

item_search_guang 爱逛街

item_search_suggest 获得搜索词推荐

item_search_jupage 天天特价

item_search_coupon 优惠券查询

cat_get 获得淘宝分类详情

item_cat_get 获得淘宝商品类目

item_search_samestyle 搜索同款的商品

item_search_similar 搜索相似的商品

item_sku 获取sku详细信息

item_recommend 获取推荐商品列表

brand_cat 获取品牌分类列表

brand_cat_top 获取分类推荐品牌列表

brand_cat_list 得到指定分类的品牌列表

brand_keyword_list 得到指定关键词的品牌列表

brand_info 得到品牌相关信息

brand_product_list 得到指定品牌的产品

custom 自定义API操作

buyer_cart_add 添加到购物车

buyer_cart_remove 删除购物车商品

buyer_cart_clear 清空购物车

buyer_cart_list 获取购物车的商品列表

buyer_cart_order 将购物车商品保存为订单

buyer_order_list 获取购买到的商品订单列表

buyer_order_detail 获取购买到的商品订单详情

buyer_order_express 获取购买到的商品订单物流

buyer_order_message 获取购买到的订单买家留言

buyer_address_list 收货地址列表

buyer_address_clear 清除收货地址

buyer_address_remove 删除收货地址

buyer_address_modify 修改收货地址

buyer_address_add 添加收货地址

buyer_info 买家信息

buyer_token 买家token

seller_order_list 获取卖出的商品订单列表

seller_order_detail 获取卖出的商品订单详情

seller_order_close 卖家关闭一笔交易

seller_order_message 获取或修改卖出去的订单备注

seller_auction_list 商品可上下架商品列表

seller_auction 商品上下架

seller_item_add 商品上传

upload_img 上传图片到淘宝

img2text 图片识别商品接口

tbk_order_query 淘宝客订单查询

item_list_weight 批量获取商品信息

item_history_price 获取商品历史价格信息

item_get_app 获得淘宝app商品详情原数据

你可能感兴趣的:(电商api,大数据,python)