失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > 关于抓取网站数据 出现302重定向!该如何处理

关于抓取网站数据 出现302重定向!该如何处理

时间:2021-05-20 21:34:25

相关推荐

关于抓取网站数据 出现302重定向!该如何处理

后端开发|php教程

nbsp,curl,CURLOPT,setopt,ch

后端开发-php教程

关于抓取网站数据,出现302重定向!急!急!急!

目标网站:/webtmq/free/free_query.php

第一步:输入商标号,提交(post抓起)

第二步:点击商标号

第三步:需要抓取的数据

校园交易网源码,ubuntu空闲分区安装,安装tomcat7解压版,爬虫的各种技术,网易云代挂源码php,seo指标用法lzw

前两步均已实现抓取,但抓取最后一步时老是出现302重定向,导致数据抓取不到。

相关代码:

课程评价系统源码,vscode c 如何编译,ubuntu蓝牙通信,vue 发布到tomcat,爬虫节流,php三维数组的遍历,seo优化竞争对手,齐博网站系统,织梦响应式团队模板下载lzw

//第一步

define(TARGET_URL,/webtmq/free/free_query.php);

define(REFFER_URL,\);

$url=TARGET_URL;

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中,而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL);

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

preg_match_all(\,$result,$rs);

//第二步

$fields_post = array(

ip=>$rs[1][0],

extarea_explain=>\%B2%E9%D1%AF%C8%AB%B2%BF%C0%E0%B1%F0,

m_lb=> ,

m_key=>8437927,

m_key_item=> m_zch,

query_mode=>1

);

$fields_string=\;

foreach($fields_post as $key => $value)

{

$fields_string .= $key . = . $value . &;

}

$fields_string = rtrim($fields_string,&);

define(TARGET_URL1,/webtmq/free/free_res.php);

define(REFFER_URL1,/webtmq/free/free_res.php);

$url=TARGET_URL1;

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中,而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);

curl_setopt($ch,CURLOPT_POST,1);//以POST方式提交

curl_setopt($ch,CURLOPT_POSTFIELDS,$fields_string);

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

//第三步

preg_match_all(\,$result,$res);

$url = /webtmq/free/.$res[1][0];

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中,而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

print_r($result);exit;//这一步得不到数据

可以自己copy一下代码运行一下,第三步数据得不到,大神能帮我看看么,如果能得到数据,请贴出你的源码,非常感谢!!!

——解决方案——————–

增加

curl_setopt($ch, CURLOPT_COOKIEJAR, “cookie.txt”);

curl_setopt($ch, CURLOPT_COOKIEFILE, “cookie.txt”);

——解决方案——————–

怎么不可以呢?

以注册号 8437927 为例

新建一文件 cookie.txt,执行代码

asp源码如何安装,vscode嵌入语言服务器,ubuntu检测ip,tomcat承受能力,爬虫守宫开箱,redis php 性能,壁山专业的seo优化如何,公司网站首页图片素材lzw

$cookie = realpath(cookie.txt); //这是增加的

//第一步

define(TARGET_URL,/webtmq/free/free_query.php);

define(REFFER_URL,\);

$url=TARGET_URL;

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中,而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

preg_match_all(\,$result,$rs);

//第二步

$fields_post = array(

ip=>$rs[1][0],

extarea_explain=>\%B2%E9%D1%AF%C8%AB%B2%BF%C0%E0%B1%F0,

m_lb=> ,

m_key=>8437927,

m_key_item=> m_zch,

query_mode=>1

);

$fields_string=\;

foreach($fields_post as $key => $value)

{

$fields_string .= $key . = . $value . &;

}

$fields_string = rtrim($fields_string,&);

define(TARGET_URL1,/webtmq/free/free_res.php);

define(REFFER_URL1,/webtmq/free/free_res.php);

$url=TARGET_URL1;

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中,而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);

curl_setopt($ch,CURLOPT_POST,1);//以POST方式提交

curl_setopt($ch,CURLOPT_POSTFIELDS,$fields_string);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

//第三步

preg_match_all(\,$result,$res);

$url = /webtmq/free/.$res[1][0];

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中,而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

print_r($result);exit;

如果觉得《关于抓取网站数据 出现302重定向!该如何处理》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。