本人使用PHP的cul扩展加querlist类库写的爬虫程序加thinkphp8

        #随机成三千个五位数的不重复数字
          $arr = [];
        for ($i = 1; $i <= 3000; $i++) {
            $arr[] = rand(10000, 99999);
            $arr = array_unique($arr);
            if (count($arr) == 3000) {
                break;
            }
        }

foreach ($arr as $k=>$vs){
    //删除视频标题重复出现过两次的数据
    $data = Db::name('hp')->field('spbt')->group('spbt')->having('count(spbt)>1')->select();
    foreach ($data as $k => $v) {
        Db::name('hp')->where('spbt', $v['spbt'])->limit(1)->delete();
    }
    $url = 'https://ht77gg.xyz:9527/vod/details/' . $vs;
    //使用cul扩展
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 获取数据返回
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 跳过证书检查
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); // 从证书中检查SSL加密算法是否存在
    //设置字符集utf-8
    curl_setopt($ch, CURLOPT_ENCODING, 'utf-8');
    $html = curl_exec($ch);
    curl_close($ch);
    #querlist获取里面的内容
    $matches = QueryList::html($html)->find('input')->attrs('value')->all();
    $视频链接地址 = @$matches[1];
    #正则匹配
122.3w+
的播放量
    preg_match('/
<\/i>(.*?)<\/div>/', $html, $matches);
    $视频的播放量 = @$matches[1];
    #获取
里面的内容
    $matches = QueryList::html($html)->find('h1')->texts()->all();
    $视频标题 = @$matches[0];
    #把这三个数据装到新的数组里面
    $arr = ['spbt' => $视频标题, 'spdz' => $视频链接地址, 'spbfl' => $视频的播放量];
    #如果没有spbfl等于null就跳过
    if ($arr['spbfl'] == null){
        continue;
    }
    Db::name('hp')->insert($arr);