① 有哪些网站用爬虫爬取能得到很有价值的数据
一般有一下几种
一些常用的方法
IP代理
对于IP代理,各个语言的Native
Request
API都提供的IP代理响应的API,
需要解决的主要就是IP源的问题了.
网络上有廉价的代理IP(1元4000个左右),
我做过简单的测试,
100个IP中,
平均可用的在40-60左右,
访问延迟均在200以上.
网络有高质量的代理IP出售,
前提是你有渠道.
因为使用IP代理后,
延迟加大,
失败率提高,
所以可以将爬虫框架中将请求设计为异步,
将请求任务加入请求队列(RabbitMQ,Kafka,Redis),
调用成功后再进行回调处理,
失败则重新加入队列.
每次请求都从IP池中取IP,
如果请求失败则从IP池中删除该失效的IP.
Cookies
有一些网站是基于cookies做反爬虫,
这个基本上就是如
@朱添一
所说的,
维护一套Cookies池
注意研究下目标网站的cookies过期事件,
可以模拟浏览器,
定时生成cookies
限速访问
像开多线程,循环无休眠的的暴力爬取数据,
那真是分分钟被封IP的事,
限速访问实现起来也挺简单(用任务队列实现),
效率问题也不用担心,
一般结合IP代理已经可以很快地实现爬去目标内容.
一些坑
大批量爬取目标网站的内容后,
难免碰到红线触发对方的反爬虫机制.
所以适当的告警提示爬虫失效是很有必有的.
一般被反爬虫后,
请求返回的HttpCode为403的失败页面,
有些网站还会返回输入验证码(如豆瓣),
所以检测到403调用失败,
就发送报警,
可以结合一些监控框架,
如Metrics等,
设置短时间内,
告警到达一定阀值后,
给你发邮件,短信等.
当然,
单纯的检测403错误并不能解决所有情况.
有一些网站比较奇葩,
反爬虫后返回的页面仍然是200的(如去哪儿),
这时候往往爬虫任务会进入解析阶段,
解析失败是必然的.
应对这些办法,
也只能在解析失败的时候,
发送报警,
当告警短时间到达一定阀值,
再触发通知事件.
当然这个解决部分并不完美,
因为有时候,
因为网站结构改变,
而导致解析失败,
同样回触发告警.
而你并不能很简单地区分,
告警是由于哪个原因引起的.
② 网络爬虫实时股票价格 怎么实现
周二时已经出现了跌停股,涨幅2%的个股仅650家,大部分个股处于1%的微涨格局,而周三这一情况加剧到了涨跌各半,甚至在午盘后跳水中出现了局部涨少跌多的情况,今天这样的情况有增无减。 。
很高兴第一时间为你解答，敬请采纳。
如果对本题还有什么疑问，请追问。
③ 如何监控scrapy爬虫的（实时）状态
搜索aotol，找myexception（只能说到这怕违规）。
④ java 如何实现 获取实时股票数据
一般有三种方式：
网页爬虫。采用爬虫去爬取目标网页的股票数据，去GitHub或技术论坛（如CSDN、51CTO）上找一下别人写的爬虫集成到项目中。
请求第三方API。会有专门的公司（例如网络API市场）提供股票数据，你只需要去购买他们的服务，使用他们提供的SDK，仿照demo开发实现即可。如下图所示：
⑤ 如何用爬虫抓取股市数据并生成分析报表
1. 关于数据采集
股票数据是一种标准化的结构数据，是可以通过API接口访问的（不过一般要通过渠道，开放的API有一定的局限性）。也可以通过爬虫软件进行采集，但是爬虫软件采集数据不能保证实时性，根据数据量和采集周期，可能要延迟几十秒到几分钟不等。我们总结了一套专业的爬虫技术解决方案(Ruby + Sidekiq)。能够很快实现这个采集，也可以后台可视化调度任务。
2. 关于展现
网络股票数据的展现，网页端直接通过HTML5技术就已经足够，如果对界面要求高一点，可以采用集成前端框架，如Bootstrap；如果针对移动端开发， 可以使用Ionic框架。
3. 关于触发事件
如果是采用Ruby on Rails的开发框架的话，倒是很方便了，有如sidekiq, whenever这样子的Gem直接实现任务管理和事件触发。
⑥ 如何使用爬虫监控一系列网站的更新情况
你的监控肯定会指定数据，不可能说页面日期更新我也算更新
先写出对于网站目标数据的爬虫并储存，然后定时爬取，每次爬取进行标志性比较，例如第一条信息的文本或是链接地址
你在打开网页时的状态码是200，这时刷新的话会变为304
但如果你是进行定时爬虫的话响应码应该会一直是200
⑦ 现在是大数据时代，有类似网络爬虫的数据抓取工具获取windows应用程序的数据吗
有101 异构数据采集技术，但是这个技术有别于爬虫，应该说，比爬虫先进多了。
它可以抓取软件数据，而不只是网页数据，最重要的是，他不需要软件厂商做接口，直接可以采集数据，这是其他爬虫以及采集工具都不具备的。
⑧ 如何利用爬虫技术来辅助老妈炒股票
炒股赚钱是一个极度复杂的综合体，不可能单凭某种技术就能炒股赚钱的。要是那样，股市就不是1赚1平8亏了。
⑨ 除了网络爬虫技术，还有其他自动抓取数据的工具吗
网络爬虫的功能有限哦，只能爬网页的内容，也就是BS 端的数据哦。
如果您希望采集到软件系统，也就是CS 端的数据的话，用博 为的小帮 软件机器人哦。
小帮 BS 和CS 端的数据都能采集的，全自动运行，只需要简单的配置即可。相对于人工的采集数据，小帮的效率大大提升！
⑩ 爬虫可以为我们做什么，可以做数据分析房价行情吗
可以啊，爬虫是数据采集必备的技能
而数据分析必然要有数据才能分析，要数据必然就会涉及到数据采集也就是爬虫。
你说的房价行情通过爬虫爬取房源数据，汇总到数据库就可以做一定程度上的分析。
爬虫需要掌握Python基础，re正则模块，Beatifulsoup，pyquery，xpath，selenium，scrapy等一些知识点，能爬取任何网站，包括某宝，某东。一手资料有偿低价给你。