博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python爬虫 selenium+phantomjs动态解析网页,加载页面成功,返回空数据
阅读量:6709 次
发布时间:2019-06-25

本文共 307 字,大约阅读时间需要 1 分钟。

废话不多说,直接说重点:

刚开始做的时候,代理IP,头部信息池,都已经做好了,使用selenium+phantomjs获取js动态加载后的源码

起初挺好的,能出来动态加载后的源码,但是运行了几次之后,电脑有点卡顿(估计是运存太小),源码就获取不到了,返回的数据

都是空数据,以至于都是出错

在做的时候一定要给页面加载之前做一个延时,以保证页面的正常加载出来,这样我们才能获取导数据

我在加载前后都做了延时等待,当然,我这个就是说这个意思,没必要仿照

可以根据自己的需求进行设置,然后源码就加载出来了,就是有点慢!

转载于:https://www.cnblogs.com/feifang/p/7118002.html

你可能感兴趣的文章
PC电源选购常见误区解惑
查看>>
使用LVS或者阿里云的SLB后如何获取访客真实的IP地址
查看>>
zookeeper安装部署--分布式模式
查看>>
phpstorm 使用Iedis
查看>>
Linux下架设×××(pptp)服务器
查看>>
35岁以前成功的12条黄金法则
查看>>
正则表达式
查看>>
Office 365系列之十五:配置Outlook MAPI方式连接Exchange Online
查看>>
Spring2.5学习笔记2-AOP-利用注解
查看>>
XML文档的JDOM解析
查看>>
存储的IOPS
查看>>
操作系统位数
查看>>
JQuery学习系列(一)简介
查看>>
centos 6.8 安装php5.5,php5.6,php7
查看>>
我的友情链接
查看>>
Hyper-V之01 恢复Hyper-V管理界面中误删除的虚拟机
查看>>
快捷创建H-v虚拟机
查看>>
装了百度卫士的烦恼
查看>>
Android开发:又是Menu
查看>>
mysql创建定时任务
查看>>