⑴ Python中怎么用爬虫爬
Python爬虫可以爬取的东西有很多，Python爬虫怎么学？简单的分析下：
如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像 Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。
利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：
知乎：爬取优质答案，为你筛选出各话题下最优质的内容。
淘宝、京东：抓取商品、评论及销量数据，对各种商品及用户的消费场景进行分析。
安居客、链家：抓取房产买卖及租售信息，分析房价变化趋势、做不同区域的房价分析。
拉勾网、智联：爬取各类职位信息，分析各行业人才需求情况及薪资水平。
雪球网：抓取雪球高回报用户的行为，对股票市场进行分析和预测。
爬虫是入门Python最好的方式，没有之一。Python有很多应用的方向，比如后台开发、web开发、科学计算等等，但爬虫对于初学者而言更友好，原理简单，几行代码就能实现基本的爬虫，学习的过程更加平滑，你能体会更大的成就感。
掌握基本的爬虫后，你再去学习Python数据分析、web开发甚至机器学习，都会更得心应手。因为这个过程中，Python基本语法、库的使用，以及如何查找文档你都非常熟悉了。
对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python，然后哼哧哼哧系统学习 Python 的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTMLCSS，结果入了前端的坑，瘁……
但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议你从一开始就要有一个具体的目标。
在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。这里给你一条平滑的、零基础快速入门的学习路径。
1.学习 Python 包并实现基本的爬虫过程
2.了解非结构化数据的存储
3.学习scrapy，搭建工程化爬虫
4.学习数据库知识，应对大规模数据存储与提取
5.掌握各种技巧，应对特殊网站的反爬措施
6.分布式爬虫，实现大规模并发采集，提升效率
⑵ pycharm怎么添加python3
除了使用easy_insatll和pip工具安装Python第三方库外还可以使用pycharm安装Python第三方库，步骤如下：
1.打开pycharm，点击File,再点击settings
2.点击settings之后再点击project下面的project Interpreter将会出现如下界面：
3.接下来点击上面界面右上角的“+”将会出现如下界面：然后在搜索框中搜索需要安装的第三方库（此处搜索requests）然后点击界面左下角的Install Package进行安装即可。
4.到这一步第三方库已经安装完毕。
⑶ 用python做数据分析和数据挖掘用哪个IDE比较好
作名数据挖掘者Python能相比较短间内较快实现自想Python库非需要重复造轮我
ipython-notebook敲代码用scrapy爬取数据(目前熟练前用Pythonrequests搭配bs4使用爬取数
据)用pandas进行数据清洗规整用scikit-learn进行机器习算析用matplotlib,seaborn进行数据视化
些库ipython-notebook都浑自体
⑷ 使用python对txt文本进行分析和提取
实现的方法和详细的操作步骤如下：
1、首先，打开计算机上的pycharm编辑器，如下图所示，然后进入下一步。
⑸ python pycharm 爬取 <p>中还有<em>
html=topic.xpath('/html/body/div/div/div/div/div/p/text()')
改成
html=topic.xpath('/html/body/div/div/div/div/div/p').txt
试试
p/text() 可能只抓起p标签的纯文本文件，忽略em标签
⑹ 做爬虫时内存占用太快怎么清理，如爬取tao宝全网数据，内存约占越大最后整个pycharm被憋死，设了gc还不行
没看到代码，不好讲，python不存在写释放内存的问题，可能是定义了或生成了过多过大的列表或字典数据，注意多使用yield，会比return内存占用少很多
⑺ 如何使用python爬取知乎数据并做简单分析
一、使用的技术栈：
爬虫：python27 +requests+json+bs4+time
分析工具： ELK套件
开发工具：pycharm
数据成果简单的可视化分析
1.性别分布
0 绿色代表的是男性 ^ . ^
1 代表的是女性
-1 性别不确定
可见知乎的用户男性颇多。
二、粉丝最多的top30
粉丝最多的前三十名：依次是张佳玮、李开复、黄继新等等，去知乎上查这些人，也差不多这个排名，说明爬取的数据具有一定的说服力。
三、写文章最多的top30
四、爬虫架构
爬虫架构图如下：
说明：
选择一个活跃的用户（比如李开复）的url作为入口url.并将已爬取的url存在set中。
抓取内容，并解析该用户的关注的用户的列表url，添加这些url到另一个set中，并用已爬取的url作为过滤。
解析该用户的个人信息，并存取到本地磁盘。
logstash取实时的获取本地磁盘的用户数据，并给elsticsearchkibana和elasticsearch配合，将数据转换成用户友好的可视化图形。
五、编码
爬取一个url:
解析内容：
存本地文件：
代码说明：
* 需要修改获取requests请求头的authorization。
* 需要修改你的文件存储路径。
源码下载：点击这里，记得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何获取authorization
打开chorme，打开https : // www. hu .com/，
登陆，首页随便找个用户，进入他的个人主页，F12(或鼠标右键，点检查)七、可改进的地方
可增加线程池，提高爬虫效率
存储url的时候我才用的set(),并且采用缓存策略，最多只存2000个url，防止内存不够，其实可以存在redis中。
存储爬取后的用户我说采取的是本地文件的方式，更好的方式应该是存在mongodb中。
对爬取的用户应该有一个信息的过滤，比如用户的粉丝数需要大与100或者参与话题数大于10等才存储。防止抓取了过多的僵尸用户。
八、关于ELK套件
关于elk的套件安装就不讨论了，具体见官网就行了。网站：https : // www . elastic . co/另外logstash的配置文件如下：
从爬取的用户数据可分析的地方很多，比如地域、学历、年龄等等，我就不一一列举了。另外，我觉得爬虫是一件非常有意思的事情，在这个内容消费升级的年代，如何在广阔的互联网的数据海洋中挖掘有价值的数据，是一件值得思考和需不断践行的事情。
⑻ 用pycharm能做数据分析吗
1 如果你是web开发工程师
那就选择pycharm。针对大型的web框架修改调试，还是需要个大型IDE。
2 如果你是数据处理工程师
那就选择spyder或者anaconda。安装后就处理好集成环境。不用再处理环境依赖关系，也包含了numpy，matplotlib和pandas，可以做些数据处理。
3 如果你是初学者
那就用python+vscode。可以智能提示，语法检查，逐行调试等