Transformers基础组件—Datasets

目录

  • datasets 基本使用
    • 加载在线数据集
    • 加载数据集合集中的某一项任务
    • 按照数据集划分进行加载
    • 查看数据集
    • 数据集划分
    • 数据选取与过滤
    • 数据映射
    • 保存与加载
  • 加载本地数据集
    • 直接加载文件作为数据集
    • 加载文件夹内全部文件作为数据集
    • 通过预先加载的其他格式转换加载数据集
    • 通过自定义加载脚本加载数据集
  • Dataset with DataCollator

datasets 基本使用

from datasets import *

加载在线数据集

datasets = load_dataset("madao33/new-title-chinese")
datasets

加载数据集合集中的某一项任务

boolq_dataset = load_dataset("super_glue"

你可能感兴趣的:(python,人工智能,机器学习)