失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > php结合phantomjs实现网页截屏 抓取js渲染的页面

php结合phantomjs实现网页截屏 抓取js渲染的页面

时间:2024-05-23 23:08:59

相关推荐

php结合phantomjs实现网页截屏 抓取js渲染的页面

首先PhantomJS快速入门

PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速,原生支持各种Web标准: DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。 PhantomJS 可以用于 页面自动化 , 网络监测 , 网页截屏 ,以及 无界面测试 等。

一、安装

安装包下载地址: /download.html ,包括 Windows ,Mac OS,Linux版本,自行选择对应 版本下载解压即可( 为方便使用,可自已为phantomjs设置环境变量 ),其中带有一个example文件夹,里面有很多已经写好的代码供使用。本文假设phantomjs已经安装好并已设置了环境变量。

二、使用

Hello, World!

新建一个包含下面两行脚本的文本文件:

console.log('Hello, world!');phantom.exit();

将文件另存为 hello.js ,然后执行它:

phantomjs hello.js

输出结果为:Hello, world!

第一行将会在终端打印出字符串,第二行 phantom.exit 将退出运行。

在该脚本中调用 phantom.exit 是非常重要的,否则 PhantomJS 将根本不会停止。

脚本参数 – Script Arguments

Phantomjs如何传递参数呢?如下所示 :

phantomjs examples/arguments.js foo bar baz

其中的foo, bar, baz就是要传递的参数,如何获取呢:

var system = require('system');if (system.args.length === 1) {console.log('Try to pass some args when invoking this script!');} else {system.args.forEach(function (arg, i) {console.log(i + ': ' + arg);});}phantom.exit();

它将输出 :

0: foo

1: bar

2: baz

页面加载 – Page Loading

通过创建一个网页对象,一个网页可以被加载,分析和渲染。

下面的脚本将示例页面对象最简单的用法,它加载 并且将它保存为一张图片, example.png 。

var page = require('webpage').create();page.open('', function () {page.render('example.png');phantom.exit();});

由于它的这个特性,PhantomJS 可以用来 网页截屏 ,截取一些内容的快照,比如将网页、SVG存成图片,PDF等,这个功能很牛X。

接下来的 loadspeed.js 脚本加载一个特殊的URL (不要忘了http协议) 并且计量加载该页面的时间。

var page = require('webpage').create(),system = require('system'),t, address;if (system.args.length === 1) {console.log('Usage: loadspeed.js <some URL>');phantom.exit();}t = Date.now();address = system.args[1];page.open(address, function (status) {if (status !== 'success') {console.log('FAIL to load the address');} else {t = Date.now() - t;console.log('Loading time ' + t + ' msec');}phantom.exit();});

在命令行运行该脚本:

phantomjs loadspeed.js

它输出像下面的东西:

Loading Loading time 719 msec

代码运算 – Code Evaluation

要想在网页的上下文中对JavaScript 或 CoffeeScript 进行运算,使用 evaluate() 方法。代码是在“沙箱”中运行的,它没有办法读取在其所属页面上下文之外的任何JavaScript对象和变量。 evaluate() 会返回一个对象,然而它仅限制于简单的对象并且不能包含方法或闭包。

这有一个示例来显示网页标题:

var page = require('webpage').create();page.open(url, function (status) {var title = page.evaluate(function () {return document.title;});console.log('Page title is ' + title);});

任何来自于网页并且包括来自 evaluate() 内部代码的控制台信息,默认不会显示的。要重写这个行为,使用 onConsoleMessage 回调函数,前一个示例可以被改写成:

var page = require('webpage').create();page.onConsoleMessage = function (msg) {console.log('Page title is ' + msg);};page.open(url, function (status) {page.evaluate(function () {console.log(document.title);});});

DOM操作 – DOM Manipulation

由于脚本好像是一个Web浏览器上运行的一样,标准的DOM脚本和CSS选择器可以很好的工作。这使得PhantomJS适合支持各种 页面自动化任务 。

下面的useragent.js 将读取 id 为myagent的元素的textContent 属性:

var page = require('webpage').create();console.log('The default user agent is ' + page.settings.userAgent);page.settings.userAgent = 'SpecialAgent';page.open('', function (status) {if (status !== 'success') {console.log('Unable to access network');} else {var ua = page.evaluate(function () {return document.getElementById('myagent').textContent;});console.log(ua);}phantom.exit();});

上面示例同样提供了一种自定义 user agent 的方法。

使用JQuery及其他类库:

var page = require('webpage').create();page.open('', function() {page.includeJs("/ajax/libs/jquery/1.6.1/jquery.min.js", function() {page.evaluate(function() {$("button").click();});phantom.exit()});});

网络请求及响应 – Network Requests and Responses

将一个页面从一台远程服务器请求一个资源的时候,请求和响应均可以通过 onResourceRequested 和onResourceReceived 回调方法追踪到。示例netlog.js :

var page = require('webpage').create();page.onResourceRequested = function (request) {console.log('Request ' + JSON.stringify(request, undefined, 4));};page.onResourceReceived = function (response) {console.log('Receive ' + JSON.stringify(response, undefined, 4));};page.open(url);

获取如何把该特性用于HAR 输出以及基于YSlow的性能分析的更多信息,请参阅 网络监控页面 。

PhantomJs官网: /

GitHub: /ariya/phantomjs/wiki/Quick-Start

上述帮助说明,来源于woiweb:/articles/beeMNj

使用 windows下PHP 执行 phantomjs

下面直接给出执行代码:

echo '<meta charset = "utf-8">';exec('H:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 H:\wamp\www\Xss_Scanner\test.js ',$output_main);var_dump($output_main);// $str = implode('',$output_main)// var_dump($str);

test.js文件的内容如下:

console.log('Loading a web page');var page = require('webpage').create();var url = '/';page.open(url, function (status) {//Page is loaded!if (status !== 'success') {console.log('Unable to post!');} else {console.log(page.content);}phantom.exit();});

注意,能够实现上面执行结果需要主要下面几点:

(1)不能开启 PHP 的安全模式,即在 php.ini 中需要将 sql.safe_mode 设置为 Off。(并重启服务器,当然, php 本身默认就是不开启安全模式的)</p><p class="article-p">

(2)无论 phantomjs 是否加入到系统环境变量中,在 exec() 中都应该是绝对路径的,以下执行是无效的:

exec('phantomjs --output-encoding=utf8 H:\wamp\www\Xss_Scanner\test.js ',$output_main);

需要将 phantomjs 取绝对路径。

需要注意的是 js 文件可以不取绝对路径。可以是相对于网站根目录的,下面执行是成功的:

exec('H:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 test.js ',$output_main);

注:test.js 放置于网站的根目录下。

另外:在 PHP 下执行 phantomjs 也可以使用另外一个函数 systom() 来执行

以上内容参考:链接地址:/267.htmlphp-phantomjs中文API整理的集合DEMO

<?phprequire 'vendor/autoload.php';use JonnyW\PhantomJs\Client;//引入客户端/*自定义模块*/use JonnyW\PhantomJs\DependencyInjection\ServiceContainer;$location = '/path/to/your/script/directory';//自定义模块所在文件夹$serviceContainer = ServiceContainer::getInstance();$procedureLoader</span> = <span class="hljs-variable">$serviceContainer->get('procedure_loader_factory')->createProcedureLoader($location);//详细参见本文页尾/*正常实例*/$client = Client::getInstance();//实例/*自定义模块*/$client->setProcedure('my_procedure');//加载一个名为my_procedure.proc的自定义js模块,详见本文页尾$client</span>-&gt;getProcedureLoader()-&gt;addLoader(<span class="hljs-variable">$procedureLoader);//自动加载模块/*自设phantomjs参数*/$client->getEngine()->addOption('--load-images=true');//phantomjs参数,参数地址:/api/command-line.html$client->getEngine()->addOption('--config=/path/to/config.json');//除了单独配置命令,还可配置命令集配置的json文件::本文页尾列举了常用的配置/*调试与缓存*/$client->getEngine()->debug(true);//允许或禁止调试$client->getLog(); //开启调试则输出结果$client->getProcedureCompiler()->clearCache();//清除缓存.建议允许前进行清除$client->getProcedureCompiler()->enableCache();//允许缓存,建议开启$client->getProcedureCompiler()->disableCache();//禁止读取缓存/*渲染与请求方式*/$link='http://jonnnnyw.github.io/php-phantomjs/4.0/3-usage/#on-load-finished';//请求的url$client->isLazy(); // 是否让客户端等待所有资源加载完毕,开启此项务必开始setTimeout,避免轮询页面不断等待.$request</span> = <span class="hljs-variable">$client->getMessageFactory()->createRequest();$response</span> = <span class="hljs-variable">$client->getMessageFactory()->createResponse();$request</span>-&gt;setUrl(<span class="hljs-variable">$link);$request->setMethod('GET');//可GET|POST|OPTIONS|HEAD|DELETE|PATCH|PUT$request->setTimeout(5000);//超过指定时间则中断渲染$request->setDelay(5);//设置延迟5秒$request->setRequestData(array('param1' => 'Param 1','param2' => 'Param 2'));//POST时发送的数据$request->addHeader('custom_header_key', 'custom_header_value');//自定义头信息$client</span>-&gt;send(<span class="hljs-variable">$request, $response);//发送请求/*截图(图或PDF文件)*/$request->setRepeatingHeader('<h1>Header <span style="float:right">%pageNum% / %pageTotal%</span></h1>',100);//自定义PDF类的头尾及其高度$request->setRepeatingFooter('<footer>Footer <span style="float:right">%pageNum% / %pageTotal%</span></footer>',100);//自定义PDF类的头尾$request->setViewportSize(200, 100);//设置可视宽高$request->setBodyStyles(array('backgroundColor' => '#ff0000'));//设置纸张背景色$request->setFormat('A4');//设置尺寸格式,如A4$request->setOrientation('landscape');//设置纸张方向如纵向$request->setPaperSize('10cm', '20cm');//PDF纸张大小$request->setMargin('1cm');//PDF纸张边距$request->setOutputFile('E:\php\file.jpg|file.pdf');//截图或PDF存储路径$request</span>-&gt;setCaptureDimensions(<span class="hljs-number">240</span>, <span class="hljs-number">320</span>, <span class="hljs-number">10</span>, <span class="hljs-number">20</span>);<span class="hljs-comment">//设置截图宽高与边距$width, $height, $top, $left/*响应结果*/$response->getHeaders();//返回头组成的数组$response->getHeader();//返回头$response->getStatus();//返回状态码:200则正确,其余错误.$response->getContent();//返回正文$response->getContentType();//返回正文类型$response->getUrl();//返回请求地址$response->getRedirectUrl();//返回重定向后的地址$response->isRedirect();//返回是否重定向$response->getConsole();//返回JS控制台内容

A. 常用命令参数:

1.--ignore-ssl-errors=[true|false]忽略SSL错误,例如过期或自签名证书错误(默认为false)。

2.--load-images=[true|false]加载所有内联图像(默认为true)。

其它的很少用得到,/api/command-line.html

B.自定义模块用法:

global_variables.partial 允许任何javascript变量注入脚本的顶部。

page_clip_rect.partial 如果请求是屏幕捕获,这将定义页面裁剪矩形。

page_custom_headers.partial 在页面对象上设置任何自定义标题。

page_on_error.partial 定义页面错误执行的代码。

page_on_resource_received.partial 定义在资源接收时执行的代码。

page_on_resource_timeout.partial 定义在资源超时时执行的代码。

page_open.partial 定义页面打开时执行的代码。

page_paper_size.partial 如果请求是PDF输出,这将设置纸张尺寸。

page_settings.partial 最明显地定义任何页面设置资源超时值。

page_viewport_size.partial 如果在请求中定义,请设置视口大小。

page_body_styles.partial 在请求的页面的body标签上设置CSS样式。

phantom_on_error.partial 定义在PhantomJS错误中执行的代码。

procedure_capture.partial 定义请求是捕获请求时执行的代码。

procedure_default.partial 定义为默认请求执行的代码。

procedure_pdf.partial 定义请求是PDF请求时执行的代码。

编译的时候所对应的位置:/jonnnnyw/php-phantomjs/blob/master/src/JonnyW/PhantomJs/Resources/procedures/http_default.proc

除了上方的默认模块之外,你也可以自定义一个js模块

首先创建至少755权限的.proc文件,例如/my_procedure(名称随意,上面引入时无需后缀).proc

//.proc示例脚本

var page = require('webpage').create();page.open ('{{ input.getUrl() }}', '{{ input.getMethod() }}', '{{ input.getBody() }}', function (status) {//你的js脚本phantom.exit(1);//退出});

...

更多细节,详见.http://jonnnnyw.github.io/php-phantomjs/4.0/4-custom-scripts/

如果觉得《php结合phantomjs实现网页截屏 抓取js渲染的页面》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。