A. 為什麼PYcharm對html中的某些內容爬取不了，而IDLE卻可以
沒有這一說，idle能爬的，pycharm一樣能爬，都是編輯器，而且pycharm更強大，肯定是你沒用對
B. 求python大神！！！Traceback (most recent call last):這是什麼錯誤
這是python種錯誤的跟蹤信息。
調用f1()出錯了，錯誤出現在文件XXX.py的第8行代碼，錯誤來源第4行：
File "XXX.py", line 4, in f1
return 1 / int(s)
return 1 / int(s)出錯了，找到了錯誤的源頭。
解決方法：
import urllib.request代碼改為res=response.read().decode('UTF-8')#讀取網頁內容，用utf-8解碼成字，執行命令pip install xxxx(缺失的包，例如lxml)
或者修改最後一行，將原本的sys.exit(_main())改為sys.exit(_main__._main())
python常用的內置數據類型：
1、數字(number)
用於存儲數值。python3支持4種類型的數字：int(整數類型)、foat(浮點型）、bool（布爾類型）、complex（復數類型)。
2、字元串(string)
由數值、字母、下劃線組成的一串字元，可以使用單引號(')、雙引號(")和三引號(''')指定字元串，使用"+"號可以連接兩個字元串
3、列表(list)
一維列表，變長、其內容可以進行修改。
列表是任何對象的有序集合，用「[]」標識。元素之間用逗號隔開，列表中的元素即可以是數字或字元串，也可以是列表。每個列表中的元素都是從0開始計算的。列表可以通過「列表對象.列表方法(參數)」的方式調用
C. 在pycharm中編寫python爬蟲怎麼解決scrapy沒有crawl命令問題
答案很簡單，四步：
新建項目 (Project)：新建一個新的爬蟲項目
明確目標（Items）：明確你想要抓取的目標
製作爬蟲（Spider）：製作爬蟲開始爬取網頁
存儲內容（Pipeline）：設計管道存儲爬取內容
D. python pycharm 爬取 <p>中還有<em>
html=topic.xpath('/html/body/div/div/div/div/div/p/text()')
改成
html=topic.xpath('/html/body/div/div/div/div/div/p').txt
試試
p/text() 可能只抓起p標簽的純文本文件，忽略em標簽
E. 如何使用python爬取知乎數據並做簡單分析
一、使用的技術棧：
爬蟲：python27 +requests+json+bs4+time
分析工具： ELK套件
開發工具：pycharm
數據成果簡單的可視化分析
1.性別分布
0 綠色代表的是男性 ^ . ^
1 代表的是女性
-1 性別不確定
可見知乎的用戶男性頗多。
二、粉絲最多的top30
粉絲最多的前三十名：依次是張佳瑋、李開復、黃繼新等等，去知乎上查這些人，也差不多這個排名，說明爬取的數據具有一定的說服力。
三、寫文章最多的top30
四、爬蟲架構
爬蟲架構圖如下：
說明：
選擇一個活躍的用戶（比如李開復）的url作為入口url.並將已爬取的url存在set中。
抓取內容，並解析該用戶的關注的用戶的列表url，添加這些url到另一個set中，並用已爬取的url作為過濾。
解析該用戶的個人信息，並存取到本地磁碟。
logstash取實時的獲取本地磁碟的用戶數據，並給elsticsearchkibana和elasticsearch配合，將數據轉換成用戶友好的可視化圖形。
五、編碼
爬取一個url:
解析內容：
存本地文件：
代碼說明：
* 需要修改獲取requests請求頭的authorization。
* 需要修改你的文件存儲路徑。
源碼下載：點擊這里，記得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何獲取authorization
打開chorme，打開https : // www. hu .com/，
登陸，首頁隨便找個用戶，進入他的個人主頁，F12(或滑鼠右鍵，點檢查)七、可改進的地方
可增加線程池，提高爬蟲效率
存儲url的時候我才用的set(),並且採用緩存策略，最多隻存2000個url，防止內存不夠，其實可以存在redis中。
存儲爬取後的用戶我說採取的是本地文件的方式，更好的方式應該是存在mongodb中。
對爬取的用戶應該有一個信息的過濾，比如用戶的粉絲數需要大與100或者參與話題數大於10等才存儲。防止抓取了過多的僵屍用戶。
八、關於ELK套件
關於elk的套件安裝就不討論了，具體見官網就行了。網站：https : // www . elastic . co/另外logstash的配置文件如下：
從爬取的用戶數據可分析的地方很多，比如地域、學歷、年齡等等，我就不一一列舉了。另外，我覺得爬蟲是一件非常有意思的事情，在這個內容消費升級的年代，如何在廣闊的互聯網的數據海洋中挖掘有價值的數據，是一件值得思考和需不斷踐行的事情。
F. pycharm控制台中如何自動換行
win7 pycharm設置界面全黑色方法：
1.設置默認PyCharm解析器：
操作如下：
Python–>Preferences–>Project Interpreter–>Python Interpreter 點擊「+」號選擇系統安裝的Python。
然後再返回Project Interpreter，選擇剛添加的解釋器。
2.設置縮進符為製表符「Tab」。
File -> Default Settings -> Code Style
-> General -> 勾選「Use tab character」
-> Python -> 勾選「Use tab character」。
-> 其他的語言代碼同理設置。
3.設置IDE皮膚主題。
File -> Settings -> IDE Settings -> Appearance -> Theme -> 選擇「Alloy.IDEA Theme」。
4.顯示「行號」與「空白字元」。
File -> Settings -> IDE Settings -> Editor -> Appearance
-> 勾選「Show line numbers」、「Show whitespaces」、「Show method separators」。
5.設置編輯器「顏色與字體」主題。
File -> Settings -> IDE Settings -> Editor -> Colors & Fonts -> Scheme name -> 選擇「Darcula」
G. 如何用python代碼判斷一段范圍內股票最高點
Copyright © 1999-2020, CSDN.NET, All Rights Reserved
登錄
python+聚寬 統計A股市場個股在某時間段的最高價、最低價及其時間 原創
2019-10-12 09:20:50
開拖拉機的大寶
碼齡4年
關注
使用工具pycharm + 聚寬數據源，統計A股市場個股在某時間段的最高價、最低價及其時間，並列印excel表格輸出
from jqdatasdk import *
import pandas as pd
import logging
import sys
logger = logging.getLogger("logger")
logger.setLevel(logging.INFO)
# 聚寬數據賬戶名和密碼設置
auth('username','password')
#獲取A股列表，包括代號，名稱，上市退市時間等。
security = get_all_securities(types=[], date=None)
pd2 = get_all_securities(['stock'])
# 獲取股票代號
stocks = list(get_all_securities(['stock']).index)
# 獲取股票名稱
stocknames = pd2['display_name']
start_date = '2015-01-01'
end_date = '2018-12-31'
def get_stocks_high_low(start_date,end_date):
# 新建表，表頭列
# 為："idx","stockcode","stockname","maxvalue","maxtime","lowvalue","lowtime"
result = pd.DataFrame(columns=["idx", "stockcode", "stockname", "maxvalue", "maxtime", "lowvalue", "lowtime"])
for i in range(0,stocks.__len__()-1):
pd01 = get_price(stocks[i], start_date, end_date, frequency='daily',
fields=None, skip_paused=False,fq='pre', count=None)
result=result.append(pd.DataFrame({'idx':[i],'stockcode':[stocks[i]],'stockname':
[stocknames[i]],'maxvalue':[pd01['high'].max()],'maxtime':
[pd01['high'].idxmax()],'lowvalue': [pd01['low'].min()], 'lowtime':
[pd01['low'].idxmin()]}),ignore_index=True)
result.to_csv("stock_max_min.csv",encoding = 'utf-8', index = True)
logger.warning("執行完畢！
H. 做爬蟲時內存佔用太快怎麼清理，如爬取tao寶全網數據，內存約占越大最後整個pycharm被憋死，設了gc還不行
沒看到代碼，不好講，python不存在寫釋放內存的問題，可能是定義了或生成了過多過大的列表或字典數據，注意多使用yield，會比return內存佔用少很多
I. pycharm暫停代碼運行,等下次開機再繼續可以嘛
pycharm暫停了還可以繼續啊。
蘋果的市場佔有率十年內從20%滑落到5%。公司在財政上努力掙扎，到1997年8月6日，微軟使用1.5億美元購買蘋果公司非投票股票以換取蘋果放棄控告微軟侵犯版權的官司和以後每一部Macintosh 上內置Internet Explorer。
J. Python中怎麼用爬蟲爬
Python爬蟲可以爬取的東西有很多，Python爬蟲怎麼學？簡單的分析下：
如果你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人越來越多，一方面，互聯網可以獲取的數據越來越多，另一方面，像 Python這樣的編程語言提供越來越多的優秀工具，讓爬蟲變得簡單、容易上手。
利用爬蟲我們可以獲取大量的價值數據，從而獲得感性認識中不能得到的信息，比如：
知乎：爬取優質答案，為你篩選出各話題下最優質的內容。
淘寶、京東：抓取商品、評論及銷量數據，對各種商品及用戶的消費場景進行分析。
安居客、鏈家：抓取房產買賣及租售信息，分析房價變化趨勢、做不同區域的房價分析。
拉勾網、智聯：爬取各類職位信息，分析各行業人才需求情況及薪資水平。
雪球網：抓取雪球高回報用戶的行為，對股票市場進行分析和預測。
爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。
掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。
對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……
但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。
在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這里給你一條平滑的、零基礎快速入門的學習路徑。
1.學習 Python 包並實現基本的爬蟲過程
2.了解非結構化數據的存儲
3.學習scrapy，搭建工程化爬蟲
4.學習資料庫知識，應對大規模數據存儲與提取
5.掌握各種技巧，應對特殊網站的反爬措施
6.分布式爬蟲，實現大規模並發採集，提升效率