⑴ Python中怎麼用爬蟲爬
Python爬蟲可以爬取的東西有很多，Python爬蟲怎麼學？簡單的分析下：
如果你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人越來越多，一方面，互聯網可以獲取的數據越來越多，另一方面，像 Python這樣的編程語言提供越來越多的優秀工具，讓爬蟲變得簡單、容易上手。
利用爬蟲我們可以獲取大量的價值數據，從而獲得感性認識中不能得到的信息，比如：
知乎：爬取優質答案，為你篩選出各話題下最優質的內容。
淘寶、京東：抓取商品、評論及銷量數據，對各種商品及用戶的消費場景進行分析。
安居客、鏈家：抓取房產買賣及租售信息，分析房價變化趨勢、做不同區域的房價分析。
拉勾網、智聯：爬取各類職位信息，分析各行業人才需求情況及薪資水平。
雪球網：抓取雪球高回報用戶的行為，對股票市場進行分析和預測。
爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。
掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。
對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……
但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。
在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這里給你一條平滑的、零基礎快速入門的學習路徑。
1.學習 Python 包並實現基本的爬蟲過程
2.了解非結構化數據的存儲
3.學習scrapy，搭建工程化爬蟲
4.學習資料庫知識，應對大規模數據存儲與提取
5.掌握各種技巧，應對特殊網站的反爬措施
6.分布式爬蟲，實現大規模並發採集，提升效率
⑵ pycharm怎麼添加python3
除了使用easy_insatll和pip工具安裝Python第三方庫外還可以使用pycharm安裝Python第三方庫，步驟如下：
1.打開pycharm，點擊File,再點擊settings
2.點擊settings之後再點擊project下面的project Interpreter將會出現如下界面：
3.接下來點擊上面界面右上角的「+」將會出現如下界面：然後在搜索框中搜索需要安裝的第三方庫（此處搜索requests）然後點擊界面左下角的Install Package進行安裝即可。
4.到這一步第三方庫已經安裝完畢。
⑶ 用python做數據分析和數據挖掘用哪個IDE比較好
作名數據挖掘者Python能相比較短間內較快實現自想Python庫非需要重復造輪我
ipython-notebook敲代碼用scrapy爬取數據(目前熟練前用Pythonrequests搭配bs4使用爬取數
據)用pandas進行數據清洗規整用scikit-learn進行機器習算析用matplotlib,seaborn進行數據視化
些庫ipython-notebook都渾自體
⑷ 使用python對txt文本進行分析和提取
實現的方法和詳細的操作步驟如下：
1、首先，打開計算機上的pycharm編輯器，如下圖所示，然後進入下一步。
⑸ python pycharm 爬取 <p>中還有<em>
html=topic.xpath('/html/body/div/div/div/div/div/p/text()')
改成
html=topic.xpath('/html/body/div/div/div/div/div/p').txt
試試
p/text() 可能只抓起p標簽的純文本文件，忽略em標簽
⑹ 做爬蟲時內存佔用太快怎麼清理，如爬取tao寶全網數據，內存約占越大最後整個pycharm被憋死，設了gc還不行
沒看到代碼，不好講，python不存在寫釋放內存的問題，可能是定義了或生成了過多過大的列表或字典數據，注意多使用yield，會比return內存佔用少很多
⑺ 如何使用python爬取知乎數據並做簡單分析
一、使用的技術棧：
爬蟲：python27 +requests+json+bs4+time
分析工具： ELK套件
開發工具：pycharm
數據成果簡單的可視化分析
1.性別分布
0 綠色代表的是男性 ^ . ^
1 代表的是女性
-1 性別不確定
可見知乎的用戶男性頗多。
二、粉絲最多的top30
粉絲最多的前三十名：依次是張佳瑋、李開復、黃繼新等等，去知乎上查這些人，也差不多這個排名，說明爬取的數據具有一定的說服力。
三、寫文章最多的top30
四、爬蟲架構
爬蟲架構圖如下：
說明：
選擇一個活躍的用戶（比如李開復）的url作為入口url.並將已爬取的url存在set中。
抓取內容，並解析該用戶的關注的用戶的列表url，添加這些url到另一個set中，並用已爬取的url作為過濾。
解析該用戶的個人信息，並存取到本地磁碟。
logstash取實時的獲取本地磁碟的用戶數據，並給elsticsearchkibana和elasticsearch配合，將數據轉換成用戶友好的可視化圖形。
五、編碼
爬取一個url:
解析內容：
存本地文件：
代碼說明：
* 需要修改獲取requests請求頭的authorization。
* 需要修改你的文件存儲路徑。
源碼下載：點擊這里，記得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何獲取authorization
打開chorme，打開https : // www. hu .com/，
登陸，首頁隨便找個用戶，進入他的個人主頁，F12(或滑鼠右鍵，點檢查)七、可改進的地方
可增加線程池，提高爬蟲效率
存儲url的時候我才用的set(),並且採用緩存策略，最多隻存2000個url，防止內存不夠，其實可以存在redis中。
存儲爬取後的用戶我說採取的是本地文件的方式，更好的方式應該是存在mongodb中。
對爬取的用戶應該有一個信息的過濾，比如用戶的粉絲數需要大與100或者參與話題數大於10等才存儲。防止抓取了過多的僵屍用戶。
八、關於ELK套件
關於elk的套件安裝就不討論了，具體見官網就行了。網站：https : // www . elastic . co/另外logstash的配置文件如下：
從爬取的用戶數據可分析的地方很多，比如地域、學歷、年齡等等，我就不一一列舉了。另外，我覺得爬蟲是一件非常有意思的事情，在這個內容消費升級的年代，如何在廣闊的互聯網的數據海洋中挖掘有價值的數據，是一件值得思考和需不斷踐行的事情。
⑻ 用pycharm能做數據分析嗎
1 如果你是web開發工程師
那就選擇pycharm。針對大型的web框架修改調試，還是需要個大型IDE。
2 如果你是數據處理工程師
那就選擇spyder或者anaconda。安裝後就處理好集成環境。不用再處理環境依賴關系，也包含了numpy，matplotlib和pandas，可以做些數據處理。
3 如果你是初學者
那就用python+vscode。可以智能提示，語法檢查，逐行調試等