A. 为什么PYcharm对html中的某些内容爬取不了，而IDLE却可以
没有这一说，idle能爬的，pycharm一样能爬，都是编辑器，而且pycharm更强大，肯定是你没用对
B. 求python大神！！！Traceback (most recent call last):这是什么错误
这是python种错误的跟踪信息。
调用f1()出错了，错误出现在文件XXX.py的第8行代码，错误来源第4行：
File "XXX.py", line 4, in f1
return 1 / int(s)
return 1 / int(s)出错了，找到了错误的源头。
解决方法：
import urllib.request代码改为res=response.read().decode('UTF-8')#读取网页内容，用utf-8解码成字，执行命令pip install xxxx(缺失的包，例如lxml)
或者修改最后一行，将原本的sys.exit(_main())改为sys.exit(_main__._main())
python常用的内置数据类型：
1、数字(number)
用于存储数值。python3支持4种类型的数字：int(整数类型)、foat(浮点型）、bool（布尔类型）、complex（复数类型)。
2、字符串(string)
由数值、字母、下划线组成的一串字符，可以使用单引号(')、双引号(")和三引号(''')指定字符串，使用"+"号可以连接两个字符串
3、列表(list)
一维列表，变长、其内容可以进行修改。
列表是任何对象的有序集合，用“[]”标识。元素之间用逗号隔开，列表中的元素即可以是数字或字符串，也可以是列表。每个列表中的元素都是从0开始计算的。列表可以通过“列表对象.列表方法(参数)”的方式调用
C. 在pycharm中编写python爬虫怎么解决scrapy没有crawl命令问题
答案很简单，四步：
新建项目 (Project)：新建一个新的爬虫项目
明确目标（Items）：明确你想要抓取的目标
制作爬虫（Spider）：制作爬虫开始爬取网页
存储内容（Pipeline）：设计管道存储爬取内容
D. python pycharm 爬取 <p>中还有<em>
html=topic.xpath('/html/body/div/div/div/div/div/p/text()')
改成
html=topic.xpath('/html/body/div/div/div/div/div/p').txt
试试
p/text() 可能只抓起p标签的纯文本文件，忽略em标签
E. 如何使用python爬取知乎数据并做简单分析
一、使用的技术栈：
爬虫：python27 +requests+json+bs4+time
分析工具： ELK套件
开发工具：pycharm
数据成果简单的可视化分析
1.性别分布
0 绿色代表的是男性 ^ . ^
1 代表的是女性
-1 性别不确定
可见知乎的用户男性颇多。
二、粉丝最多的top30
粉丝最多的前三十名：依次是张佳玮、李开复、黄继新等等，去知乎上查这些人，也差不多这个排名，说明爬取的数据具有一定的说服力。
三、写文章最多的top30
四、爬虫架构
爬虫架构图如下：
说明：
选择一个活跃的用户（比如李开复）的url作为入口url.并将已爬取的url存在set中。
抓取内容，并解析该用户的关注的用户的列表url，添加这些url到另一个set中，并用已爬取的url作为过滤。
解析该用户的个人信息，并存取到本地磁盘。
logstash取实时的获取本地磁盘的用户数据，并给elsticsearchkibana和elasticsearch配合，将数据转换成用户友好的可视化图形。
五、编码
爬取一个url:
解析内容：
存本地文件：
代码说明：
* 需要修改获取requests请求头的authorization。
* 需要修改你的文件存储路径。
源码下载：点击这里，记得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何获取authorization
打开chorme，打开https : // www. hu .com/，
登陆，首页随便找个用户，进入他的个人主页，F12(或鼠标右键，点检查)七、可改进的地方
可增加线程池，提高爬虫效率
存储url的时候我才用的set(),并且采用缓存策略，最多只存2000个url，防止内存不够，其实可以存在redis中。
存储爬取后的用户我说采取的是本地文件的方式，更好的方式应该是存在mongodb中。
对爬取的用户应该有一个信息的过滤，比如用户的粉丝数需要大与100或者参与话题数大于10等才存储。防止抓取了过多的僵尸用户。
八、关于ELK套件
关于elk的套件安装就不讨论了，具体见官网就行了。网站：https : // www . elastic . co/另外logstash的配置文件如下：
从爬取的用户数据可分析的地方很多，比如地域、学历、年龄等等，我就不一一列举了。另外，我觉得爬虫是一件非常有意思的事情，在这个内容消费升级的年代，如何在广阔的互联网的数据海洋中挖掘有价值的数据，是一件值得思考和需不断践行的事情。
F. pycharm控制台中如何自动换行
win7 pycharm设置界面全黑色方法：
1.设置默认PyCharm解析器：
操作如下：
Python–>Preferences–>Project Interpreter–>Python Interpreter 点击“+”号选择系统安装的Python。
然后再返回Project Interpreter，选择刚添加的解释器。
2.设置缩进符为制表符“Tab”。
File -> Default Settings -> Code Style
-> General -> 勾选“Use tab character”
-> Python -> 勾选“Use tab character”。
-> 其他的语言代码同理设置。
3.设置IDE皮肤主题。
File -> Settings -> IDE Settings -> Appearance -> Theme -> 选择“Alloy.IDEA Theme”。
4.显示“行号”与“空白字符”。
File -> Settings -> IDE Settings -> Editor -> Appearance
-> 勾选“Show line numbers”、“Show whitespaces”、“Show method separators”。
5.设置编辑器“颜色与字体”主题。
File -> Settings -> IDE Settings -> Editor -> Colors & Fonts -> Scheme name -> 选择“Darcula”
G. 如何用python代码判断一段范围内股票最高点
Copyright © 1999-2020, CSDN.NET, All Rights Reserved
登录
python+聚宽 统计A股市场个股在某时间段的最高价、最低价及其时间 原创
2019-10-12 09:20:50
开拖拉机的大宝
码龄4年
关注
使用工具pycharm + 聚宽数据源，统计A股市场个股在某时间段的最高价、最低价及其时间，并打印excel表格输出
from jqdatasdk import *
import pandas as pd
import logging
import sys
logger = logging.getLogger("logger")
logger.setLevel(logging.INFO)
# 聚宽数据账户名和密码设置
auth('username','password')
#获取A股列表，包括代号，名称，上市退市时间等。
security = get_all_securities(types=[], date=None)
pd2 = get_all_securities(['stock'])
# 获取股票代号
stocks = list(get_all_securities(['stock']).index)
# 获取股票名称
stocknames = pd2['display_name']
start_date = '2015-01-01'
end_date = '2018-12-31'
def get_stocks_high_low(start_date,end_date):
# 新建表，表头列
# 为："idx","stockcode","stockname","maxvalue","maxtime","lowvalue","lowtime"
result = pd.DataFrame(columns=["idx", "stockcode", "stockname", "maxvalue", "maxtime", "lowvalue", "lowtime"])
for i in range(0,stocks.__len__()-1):
pd01 = get_price(stocks[i], start_date, end_date, frequency='daily',
fields=None, skip_paused=False,fq='pre', count=None)
result=result.append(pd.DataFrame({'idx':[i],'stockcode':[stocks[i]],'stockname':
[stocknames[i]],'maxvalue':[pd01['high'].max()],'maxtime':
[pd01['high'].idxmax()],'lowvalue': [pd01['low'].min()], 'lowtime':
[pd01['low'].idxmin()]}),ignore_index=True)
result.to_csv("stock_max_min.csv",encoding = 'utf-8', index = True)
logger.warning("执行完毕！
H. 做爬虫时内存占用太快怎么清理，如爬取tao宝全网数据，内存约占越大最后整个pycharm被憋死，设了gc还不行
没看到代码，不好讲，python不存在写释放内存的问题，可能是定义了或生成了过多过大的列表或字典数据，注意多使用yield，会比return内存占用少很多
I. pycharm暂停代码运行,等下次开机再继续可以嘛
pycharm暂停了还可以继续啊。
苹果的市场占有率十年内从20%滑落到5%。公司在财政上努力挣扎，到1997年8月6日，微软使用1.5亿美元购买苹果公司非投票股票以换取苹果放弃控告微软侵犯版权的官司和以后每一部Macintosh 上内置Internet Explorer。
J. Python中怎么用爬虫爬
Python爬虫可以爬取的东西有很多，Python爬虫怎么学？简单的分析下：
如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像 Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。
利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：
知乎：爬取优质答案，为你筛选出各话题下最优质的内容。
淘宝、京东：抓取商品、评论及销量数据，对各种商品及用户的消费场景进行分析。
安居客、链家：抓取房产买卖及租售信息，分析房价变化趋势、做不同区域的房价分析。
拉勾网、智联：爬取各类职位信息，分析各行业人才需求情况及薪资水平。
雪球网：抓取雪球高回报用户的行为，对股票市场进行分析和预测。
爬虫是入门Python最好的方式，没有之一。Python有很多应用的方向，比如后台开发、web开发、科学计算等等，但爬虫对于初学者而言更友好，原理简单，几行代码就能实现基本的爬虫，学习的过程更加平滑，你能体会更大的成就感。
掌握基本的爬虫后，你再去学习Python数据分析、web开发甚至机器学习，都会更得心应手。因为这个过程中，Python基本语法、库的使用，以及如何查找文档你都非常熟悉了。
对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python，然后哼哧哼哧系统学习 Python 的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTMLCSS，结果入了前端的坑，瘁……
但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议你从一开始就要有一个具体的目标。
在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。这里给你一条平滑的、零基础快速入门的学习路径。
1.学习 Python 包并实现基本的爬虫过程
2.了解非结构化数据的存储
3.学习scrapy，搭建工程化爬虫
4.学习数据库知识，应对大规模数据存储与提取
5.掌握各种技巧，应对特殊网站的反爬措施
6.分布式爬虫，实现大规模并发采集，提升效率