① redis怎麼統計點擊量java
比如
mongodb
和
couchdb。每個數據存儲都有其優勢和劣勢,特別是當應用於特定領域時。
本期的
java
開發
2.0
關注的是
redis,一種輕量級鍵值對數據存儲。多數
nosql
實現本質上都是鍵值對,但是
redis
支持非常豐富的值集,其中包括字元串、列表、集以及散列。因此,redis
通常被稱為數據結構伺服器。redis
也以異常快速而聞名,這使得它成為某一特定類型使用案例的最優選擇。
當我們想要了解一種新事物時,將其同熟知的事物進行比較可能會有所幫助,因此,我們將通過對比其與
memcached
的相似性以開啟
redis
探索之旅。接著我們將介紹
redis
的主要功能,這些功能可以使其在某些應用場景可以勝過
memcached。最後我將向您展示如何將
redis
作為一個傳統數據存儲用於模型對象。redis
和
memcached
memcached
是一個眾所周知的內存對象緩存系統,通過將目標鍵和值導入內存緩存運行。因此,memcached
能迴避讀取磁碟時發生的
i/o
成本問題。在
web
應用程序和資料庫之間粘貼
memcached
時會產生更好的讀取性能。因此,對於那些需要快速數據查詢的應用程序,memcached
是一個不錯的選擇。其中的一個例子為股票查詢服務,需要另外訪問資料庫獲取相對靜態數據,如股票名稱或價格信息。
memcachedb
將redis
與
memcached
相比較並不公平,它與
memcachedb
相比要好的多,memcachedb
是一個分布式鍵值對存儲系統,專為數據持久化而設計。memcachedb
與
redis
較為相似,其新增優勢可以使其輕松地與
memcached
實現的客戶端進行通信。
但是memcached
也有其局限性,其中一個事實就是它所有的值均是簡單的字元串。redis
作為
memcached
的替代者,支持更加豐富的功能集。一些基準
(benchmarks)
也表明
redis
的速度要比
memcached
快很多。redis
提供的豐富數據類型使其可以在內存中存儲更為復雜的數據,這是使用
memcached
無法實現的。同
memcached
不一樣,redis
可以持久化其數據。
redis
解決了一個重大的緩存問題,而其豐富的功能集又為其找到了其他用途。由於
redis
能夠在磁碟上存儲數據以及跨節點復制數據,因而可以作為數據倉庫用於傳統數據模式(也就是說,您可以使用
redis,就像使用
rdbms
一樣)。redis
還經常被用作隊列系統。在本用例中,redis
是備份和工作隊列持久化存儲(利用
redis
的列表類型)的基礎。github
是以此種方法使用
redis
的大規模基礎架構示例准備好
redis,立即開始!
要開始使用
redis,您需要訪問它,可以通過本地安裝或者託管供應商來實現訪問。如果您使用的
mac,安裝過程可能就不那麼簡單。
② Java 開發 2.0: 現實世界中的 Redis :Redis 如何在包含大量讀取操作的應用程序中戰勝 memcached
此外,我還討論過較為常見的基於伺服器的數據存儲,比如 MongoDB 和 CouchDB。每個數據存儲都有其優勢和劣勢,特別是當應用於特定領域時。 本期的 Java 開發 2.0 關注的是 Redis,一種輕量級鍵值對數據存儲。多數 NoSQL 實現本質上都是鍵值對,但是 Redis 支持非常豐富的值集,其中包括字元串、列表、集以及散列。因此,Redis 通常被稱為數據結構伺服器。Redis 也以異常快速而聞名,這使得它成為某一特定類型使用案例的最優選擇。 當我們想要了解一種新事物時,將其同熟知的事物進行比較可能會有所幫助,因此,我們將通過對比其與 memcached 的相似性以開啟 Redis 探索之旅。接著我們將介紹 Redis 的主要功能,這些功能可以使其在某些應用場景可以勝過 memcached。最後我將向您展示如何將 Redis 作為一個傳統數據存儲用於模型對象。Redis 和 memcached Memcached 是一個眾所周知的內存對象緩存系統,通過將目標鍵和值導入內存緩存運行。因此,Memcached 能迴避讀取磁碟時發生的 I/O 成本問題。在 Web 應用程序和資料庫之間粘貼 memcached 時會產生更好的讀取性能。因此,對於那些需要快速數據查詢的應用程序,Memcached 是一個不錯的選擇。其中的一個例子為股票查詢服務,需要另外訪問資料庫獲取相對靜態數據,如股票名稱或價格信息。 MemcacheDB 將Redis 與 memcached 相比較並不公平,它與 MemcacheDB 相比要好的多,MemcacheDB 是一個分布式鍵值對存儲系統,專為數據持久化而設計。MemcacheDB 與 Redis 較為相似,其新增優勢可以使其輕松地與 memcached 實現的客戶端進行通信。 但是memcached 也有其局限性,其中一個事實就是它所有的值均是簡單的字元串。Redis 作為 memcached 的替代者,支持更加豐富的功能集。一些基準 (benchmarks) 也表明 Redis 的速度要比 memcached 快很多。Redis 提供的豐富數據類型使其可以在內存中存儲更為復雜的數據,這是使用 memcached 無法實現的。同 memcached 不一樣,Redis 可以持久化其數據。 Redis 解決了一個重大的緩存問題,而其豐富的功能集又為其找到了其他用途。由於 Redis 能夠在磁碟上存儲數據以及跨節點復制數據,因而可以作為數據倉庫用於傳統數據模式(也就是說,您可以使用 Redis,就像使用 RDBMS 一樣)。Redis 還經常被用作隊列系統。在本用例中,Redis 是備份和工作隊列持久化存儲(利用 Redis 的列表類型)的基礎。GitHub 是以此種方法使用 Redis 的大規模基礎架構示例准備好 Redis,立即開始! 要開始使用 Redis,您需要訪問它,可以通過本地安裝或者託管供應商來實現訪問。如果您使用的 MAC,安裝過程可能就不那麼簡單。如果您使用的是 Windows
③ 如何用java redis hbase
比如 MongoDB 和 CouchDB。每個數據存儲都有其優勢和劣勢,特別是當應用於特定領域時。 本期的 Java 開發 2.0 關注的是 Redis,一種輕量級鍵值對數據存儲。多數 NoSQL 實現本質上都是鍵值對,但是 Redis 支持非常豐富的值集,其中包括字元串、列表、集以及散列。因此,Redis 通常被稱為數據結構伺服器。Redis 也以異常快速而聞名,這使得它成為某一特定類型使用案例的最優選擇。 當我們想要了解一種新事物時,將其同熟知的事物進行比較可能會有所幫助,因此,我們將通過對比其與 memcached 的相似性以開啟 Redis 探索之旅。接著我們將介紹 Redis 的主要功能,這些功能可以使其在某些應用場景可以勝過 memcached。最後我將向您展示如何將 Redis 作為一個傳統數據存儲用於模型對象。Redis 和 memcached Memcached 是一個眾所周知的內存對象緩存系統,通過將目標鍵和值導入內存緩存運行。因此,Memcached 能迴避讀取磁碟時發生的 I/O 成本問題。在 Web 應用程序和資料庫之間粘貼 memcached 時會產生更好的讀取性能。因此,對於那些需要快速數據查詢的應用程序,Memcached 是一個不錯的選擇。其中的一個例子為股票查詢服務,需要另外訪問資料庫獲取相對靜態數據,如股票名稱或價格信息。 MemcacheDB 將Redis 與 memcached 相比較並不公平,它與 MemcacheDB 相比要好的多,MemcacheDB 是一個分布式鍵值對存儲系統,專為數據持久化而設計。MemcacheDB 與 Redis 較為相似,其新增優勢可以使其輕松地與 memcached 實現的客戶端進行通信。 但是memcached 也有其局限性,其中一個事實就是它所有的值均是簡單的字元串。Redis 作為 memcached 的替代者,支持更加豐富的功能集。一些基準 (benchmarks) 也表明 Redis 的速度要比 memcached 快很多。Redis 提供的豐富數據類型使其可以在內存中存儲更為復雜的數據,這是使用 memcached 無法實現的。同 memcached 不一樣,Redis 可以持久化其數據。 Redis 解決了一個重大的緩存問題,而其豐富的功能集又為其找到了其他用途。由於 Redis 能夠在磁碟上存儲數據以及跨節點復制數據,因而可以作為數據倉庫用於傳統數據模式(也就是說,您可以使用 Redis,就像使用 RDBMS 一樣)。Redis 還經常被用作隊列系統。在本用例中,Redis 是備份和工作隊列持久化存儲(利用 Redis 的列表類型)的基礎。GitHub 是以此種方法使用 Redis 的大規模基礎架構示例准備好 Redis,立即開始! 要開始使用 Redis,您需要訪問它,可以通過本地安裝或者託管供應商來實現訪問。如果您使用的 MAC,安裝過程可能就不那麼簡單。
④ 如何設置redis一秒鍾持久化一次
此外,我還討論過較為常見的基於伺服器的數據存儲,比如MongoDB和CouchDB。每個數據存儲都有其優勢和劣勢,特別是當應用於特定領域時。本期的Java開發2.0關注的是Redis,一種輕量級鍵值對數據存儲。多數NoSQL實現本質上都是鍵值對,但是Redis支持非常豐富的值集,其中包括字元串、列表、集以及散列。因此,Redis通常被稱為數據結構伺服器。Redis也以異常快速而聞名,這使得它成為某一特定類型使用案例的最優選擇。當我們想要了解一種新事物時,將其同熟知的事物進行比較可能會有所幫助,因此,我們將通過對比其與memcached的相似性以開啟Redis探索之旅。接著我們將介紹Redis的主要功能,這些功能可以使其在某些應用場景可以勝過memcached。最後我將向您展示如何將Redis作為一個傳統數據存儲用於模型對象。Redis和memcachedMemcached是一個眾所周知的內存對象緩存系統,通過將目標鍵和值導入內存緩存運行。因此,Memcached能迴避讀取磁碟時發生的I/O成本問題。在Web應用程序和資料庫之間粘貼memcached時會產生更好的讀取性能。因此,對於那些需要快速數據查詢的應用程序,Memcached是一個不錯的選擇。其中的一個例子為股票查詢服務,需要另外訪問資料庫獲取相對靜態數據,如股票名稱或價格信息。MemcacheDB將Redis與memcached相比較並不公平,它與MemcacheDB相比要好的多,MemcacheDB是一個分布式鍵值對存儲系統,專為數據持久化而設計。MemcacheDB與Redis較為相似,其新增優勢可以使其輕松地與memcached實現的客戶端進行通信。但是memcached也有其局限性,其中一個事實就是它所有的值均是簡單的字元串。Redis作為memcached的替代者,支持更加豐富的功能集。一些基準(benchmarks)也表明Redis的速度要比memcached快很多。Redis提供的豐富數據類型使其可以在內存中存儲更為復雜的數據,這是使用memcached無法實現的。同memcached不一樣,Redis可以持久化其數據。Redis解決了一個重大的緩存問題,而其豐富的功能集又為其找到了其他用途。由於Redis能夠在磁碟上存儲數據以及跨節點復制數據,因而可以作為數據倉庫用於傳統數據模式(也就是說,您可以使用Redis,就像使用RDBMS一樣)。Redis還經常被用作隊列系統。在本用例中,Redis是備份和工作隊列持久化存儲(利用Redis的列表類型)的基礎。GitHub是以此種方法使用Redis的大規模基礎架構示例准備好Redis,立即開始!要開始使用Redis,您需要訪問它,可以通過本地安裝或者託管供應商來實現訪問。如果您使用的MAC,安裝過程可能就不那麼簡單。如果您使用的是Windows??,您需要先安裝Cygwin。如果您正在尋找一個託管供應商,Redis4You擁有一個免費計劃。不管您以何種方式訪問,您都能夠根據本文下列示例進行操作,但是我需要指出的是,使用一個託管供應商進行緩存可能並不是很好的緩存解決方案,因為網路延遲可能會抵消任何性能優勢。您需要通過命令與Redis進行交互,這就是說,這里沒有SQL類查詢語言。使用Redis工作非常類似於使用傳統map數據結構,即所有的一切都擁有一個鍵和一個值,每個值都有多種與之關聯的數據類型。每個數據類型都有其自己的命令集。例如,如果您計劃使用簡單數據類型,比如某種緩存模式,您可以使用命令set和get。您可以通過命令行shell與一個Reids實例進行交互。還有多個客戶端實現,可以以編程方式與Redis進行交互。清單1展示了一個使用基礎命令的簡單命令行shell交互:清單1.使用基礎的Redis命令redis127.0.0.1:6379>setpageregistrationOKredis127.0.0.1:6379>keys*1)"foo"2)"page"redis127.0.0.1:6379>getpage"registration"在這里,我通過set命令將鍵"page"與值"registration"相關聯。接著,我發出keys命令(後綴*表示我想看到所有可用的實例鍵。keys命令顯示有一個page值和一個foo,我可以通過get命令檢索到與一個鍵關聯的值。請記住,使用get檢索到的值只能是一個字元串。如果一個鍵的值是一個列表,那麼您必須使用一個特定列表的命令來檢索列表元素。(注意,有可以查詢值類型的命令)。Java與Jedis集成對於那些想要將Redis集成到Java應用程序的編程人員,Redis團隊建議使用一個名為Jedis的項目,Jedis是一個輕量級庫,可以將本地Redis命令映射到Java方法。例如Jedis可以獲取並設置簡單值,如清單2所示:清單2.Java代碼中的基礎Redis命令JedisPoolpool=newJedisPool(newJedisPoolConfig(),"localhost");Jedisjedis=pool.getResource();jedis.set("foo","bar");Stringfoobar=jedis.get("foo");assertfoobar.equals("bar");pool.returnResource(jedis);pool.destroy();在清單2中,我配置了一個連接池並捕獲連接,(與您在典型JDBC場景中的操作非常相似)然後我在清單的底部設置了返回操作。在連接池邏輯之間,我設置了值"bar"和鍵"foo",這是我通過get命令檢索到的。與memcached類似,Redis允許您將過期(expiration)時間關聯到一個值。因此我設置了這樣一個值(比如,股票臨時交易價格),最終將從Redis緩存中清除掉。如果我想在Jedis中設置一個過期時間,需要在發出set調用之後將其和一個過期時間關聯。如清單3所示:清單3.Redis值可以設置為終止jedis.set("gone","daddy,gone");jedis.expire("gone",10);Stringthere=jedis.get("gone");assertthere.equals("daddy,gone");Thread.sleep(4500);StringnotThere=jedis.get("gone");assertnotThere==null;在清單3中,我使用了一個expire調用將"gone"的值設置為在10秒鍾內終止。調用Thread.sleep之後,"gone"的get調用會返回null。Redis中的數據類型使用Redis數據類型,比如列表和散列需要專用命令用法。例如,我可以通過為鍵附加值來創建列表。
⑤ 如何通過雪球查詢股票之前的變動狀況
一. 雪球公司介紹
雪球 聰明的投資者都在這里。
web 1.0:新聞資訊,股價信息,K線圖
web 2.0:SNS 訂閱,分享,聊天
web 3.0:移動 APP,交易閉環
雪球現在員工數還不到100,其中技術人員佔一半。去年9月C輪融資4kw刀。我們現在的技術棧由下列組件組成:Java,Scala,Akka,Finagle,Nodejs,Docker ,Hadoop。我們當前是租用IDC機房自建私有雲,正在往「公私混合雲」方向發展。
在雪球上,用戶可以獲取滬深港美2w+股票的新聞信息,股價變化情況,也可以獲取債券,期貨,基金,比特幣,信託,理財,私募等等理財產品的各類信息,也可以關注雪球用戶建立的百萬組合,訂閱它們的實時調倉信息,還可以關注雪球大V。雪球當前有百萬日活躍用戶,每天有4億的API調用。App Store 財務免費榜第 18 名。歷史上曾排到財務第二,總免費榜第 19。
二. 雪球當前總體架構
作為一個典型的移動互聯網創業公司,雪球的總體架構也是非常典型的設計:
最上層是三個端:web端,android端和iOS端。流量比例大約為 2:4:4 。web3.0 的交易功能,在 web 端並不提供。
接入層以及下面的幾個層,都在我們的自建機房內部。雪球當前只部署了一個機房,還屬於單機房時代。正在進行「私有雲+公有雲混合部署」方案推進過程中。
我們當前使用 nodejs 作為 web 端模板引擎。nodejs 模塊與android 和 ios 的 app 模塊一起屬於大前端團隊負責。
再往下是位於 nginx 後面的 api 模塊。跟 linkedin 的 leo 和微博的 v4 一樣,雪球也有一個遺留的大一統系統,名字就叫 snowball 。最初,所有的邏輯都在 snowball 中實現的。後來慢慢的拆出去了很多 rpc 服務,再後來慢慢的拆出去了一些 http api 做成了獨立業務,但即便如此,snowball 仍然是雪球系統中最大的一個部署單元。
在需要性能的地方,我們使用 netty 搭建了一些獨立的介面,比如 quoto server,是用來提供開盤期間每秒一次的股價查詢服務,單機 qps 5w+,這個一會再細說;而 IM 服務,起初設計里是用來提供聊天服務,而現在,它最大的用途是提供一個可靠的 push 通道,提供 5w/s 的消息下發容量,這個也一會再細說。
雪球的服務化拆分及治理採用 twitter 開源的 finagle rpc 框架,並在上面進行了一些二次開發和定製。定製的功能主要集中在 access log 增強,和 fail fast,fail over 策略及降級開關等。 finagle 的實現比較復雜,debug 和二次開發的門檻較高,團隊內部對此也進行了一些討論。
雪球的業務比較復雜,在服務層中,大致可以分為幾類:第一類是web1.0,2.0 及基礎服務,我們稱為社區,包括用戶,帖子,新聞,股價,搜索等等,類比對象就是新浪財經門戶+微博;第二類是組合及推薦,主要提供股票投資策略的展示和建議,類比對象是美國的motif;第三類是通道,類似股市中的「支付寶」,接入多家券商,提供瞬間開戶,一鍵下單等等各種方便操作的功能。
雪球的業務實現中,包含很多非同步計算邏輯,比如搜索建索引,比如股票漲跌停發通知,比如組合收益計算等等,為此,我們設計了一個獨立的 Thread/Task 模塊,方便管理所有的後台計算任務。但隨著這些 task 越來越多,邏輯差異越來越大,一個統一的模塊並不是總是最佳的方案,所以,我們又把它拆成了兩大類:流式的,和批量式的。
雪球的推薦體系包括組合推薦「買什麼」和個性化推薦。我們最近正在重新梳理我們的大數據體系,這個感興趣的話可以單聊。
最下面是基礎設施層。雪球基礎設施層包括:redis,mysql,mq,zk,hdfs,以及容器 docker。
線上服務之外,我們的開發及後台設施也很典型:gitlab開發,jenkins打包,zabbix 監控系統向 openfalcon 遷移,redimine向confluence遷移,jira,以及內部開發的 skiing 後台管理系統。
** 三. 雪球架構優化歷程**
首先描述一下標題中的「股市動盪」定語修飾詞吧:
上證指數從年初的3000點半年時間漲到了5000多,6月12號達到最高點5200點,然後就急轉直下,最大單日跌幅 8.48%,一路跌回4000點以下。最近一周都在3900多徘徊。
3月最後一周,A股開戶 166萬戶,超過歷史最高紀錄 2007年5月第二周165萬戶。
4月份,證監會宣布A股支持單用戶開設多賬戶。
6月底,證金公司代表國家隊入場救市。
7月份,證監會宣布嚴打場外配資。
中國好聲音廣告第一晚,帶來超過平時峰值200倍的注冊量
挑戰:小 VS 大:
小:小公司的體量,團隊小,機器規模小
大:堪比大公司的業務線數量,業務復雜度,瞬間峰值沖擊
雪球的業務線 = 1個新浪財經 + 1 個微博 + 1 個 motif + 1 個大智慧/同花順。由於基數小,API調用瞬間峰值大約為平時峰值的 30+ 倍。
挑戰:快速增長,移動互聯網 + 金融,風口,A股大盤劇烈波動。
首先,在app端,在我們核心業務從 web2.0 sns 向 3.0 移動交易閉環進化的過程中,我們開發了一個自己的 hybrid 框架:本地原生框架,加離線 h5 頁面,以此來支撐我們的快速業務迭代。當前,雪球前端可以做到 2 周一個版本,且同時並行推進 3 個版本:一個在 app store 等待審核上線,一個在內測或公測,一個在開發。我們的前端架構師孟祥宇在今年的 wot 上有一個關於這方面的詳細分享,有興趣的可以稍後再深入了解。
雪球App實踐—構建靈活、可靠的Hybrid框架 http://wot.51cto.com/2015mobile/ http://down.51cto.com/data/2080769
另外,為了保障服務的可用性,我們做了一系列的「端到端服務質量監控」。感興趣的可以搜索我今年4月份在環信SM meetup上做的分享《移動時代端到端的穩定性保障》。其中在 app 端,我們採用了一種代價最小的數據傳輸方案:對用戶的網路流量,電池等額外消耗幾乎為0
每個請求里帶上前一個請求的結果
succ or fail : 1 char
失敗原因:0 - 1 char
請求介面編號: 1 char
請求耗時:2 - 3 char
其它:網路制式,etc
炒股的人大多都會盯盤:即在開盤期間,開著一個web頁面或者app,實時的看股價的上下跳動。說到「實時」,美股港股當前都是流式的數據推送,但國內的A股,基本上都是每隔一段時間給出一份系統中所有股票現價的一個快照。這個時間間隔,理論上是3秒,實際上一般都在5秒左右。 交了錢簽了合同,雪球作為合作方就可以從交易所下屬的數據公司那裡拿到數據了,然後提供給自己的用戶使用。
剛才介紹總體架構圖的時候有提到 quote server ,說到這是需要性能的地方。
業務場景是這樣的,雪球上個人主頁,開盤期間,每秒輪詢一次當前用戶關注的股票價格變動情況。在內部,所有的組合收益計算,每隔一段時間需要獲取一下當前所有股票的實時價格。起初同時在線用戶不多,這個介面就是一個部署在 snowball 中的普通介面,股價信息被實時寫入 redis ,讀取的時候就從 redis 中讀。後來,A股大漲,snowball 抗不住了。於是我們就做了一個典型的優化:獨立 server + 本地內存存儲。開盤期間每次數據更新後,數據接收組件主動去更新 quote server 內存中的數據。 後續進一步優化方案是將這個介面以及相關的處理邏輯都遷移到公有雲上去。
對於那些不盯盤的人,最實用的功能就是股價提醒了。在雪球上,你除了可以關注用戶,還可以關注股票。如果你關注的某隻股票漲了或跌了,我們都可以非常及時的通知你。雪球上熱門股票擁有超過 50w 粉絲(招商銀行,蘇寧雲商)粉絲可以設置:當這支股票漲幅或跌幅超過 x%(默認7%)時提醒我。曾經連續3天,每天超過1000股跌停,證監會開了一個會,於是接下來2天超過1000股漲停
原來做法:
股票漲(跌)x%,掃一遍粉絲列表,過濾出所有符合條件的粉絲,推送消息
新做法:
預先建立索引,開盤期間載入內存
1%:uid1,uid2
2%:uid3,uid4,uid5
3%:uid6
問題:有時候嫌太及時了:頻繁跌停,打開跌停,再跌停,再打開。。。的時候
內部線上記錄:
4台機器。
單條消息延時 99% 小於 30秒。
下一步優化目標:99% 小於 10 秒
IM 系統最初的設計目標是為雪球上的用戶提供一個聊天的功能:
送達率第一
雪球IM:Netty + 自定義網路協議
Akka : 每個在線client一個actor
推模式:client 在線情況下使用推模式
多端同步:單賬號多端可登錄,並保持各種狀態同步
移動互聯網時代,除了微信qq以外的所有IM,都轉型成了推送通道,核心指標變成了瞬間峰值性能。原有架構很多地方都不太合適了。
優化:
分配更多資源:推送賬號actor池
精簡業務邏輯:重復消息只存id,實時提醒內容不推歷史設備,不更新非活躍設備的session列表等等
本地緩存:拉黑等無法精簡的業務邏輯遷移到本地緩存
優化代碼:非同步加密存儲,去除不合理的 akka 使用
akka這個解釋一下:akka 有一個自己的 log adapter,內部使用一個 actor 來處理所有的 log event stream 。當瞬間峰值到來的時候,這個 event stream 一下子就堵了上百萬條 log ,導致 gc 顛簸非常嚴重。最後的解決辦法是,繞過 akka 的 log adapter,直接使用 logback 的 appender
線上記錄:5w/s (主動限速)的推送持續 3 分鍾,p99 性能指標無明顯變化
7月10號我們在中國好聲音上做了3期廣告。在廣告播出之前,我們針對廣告可能帶來的對系統的沖擊進行了壓力測試,主要是新用戶注冊模塊,當時預估廣告播出期間2小時新注冊100萬
壓測發現 DB 成為瓶頸:
昵稱檢測 cache miss > 40%
昵稱禁用詞 where like 模糊查詢
手機號是否注冊 cache miss > 80%
注冊新用戶:5 insert
優化:
redis store:昵稱,手機號
本地存儲:昵稱禁用詞
業務流程優化:DB insert 操作同步改非同步
下一步優化計劃:
將 sns 系統中所有的上行操作都改成類似的非同步模式
介面調用時中只更新緩存,而且主動設置5分鍾過期,然後寫一個消息到 mq 隊列,隊列處理程序拿到消息再做其它耗時操作。
為了支持失敗重試,需要將主要的資源操作步驟都做成冪等。
前置模塊HA:
合作方合規要求:業務單元部署到合作方內網,用戶的敏感數據不允許離開進程內存
業務本身要求:業務單元本身為有狀態服務,業務單元高可用
解決方案:
使用 Hazelcast In-Memory Data Grid 的 replication map 在多個 jvm 實例之間做數據同步。
java 啟動參數加上 -XX:+DisableAttachMechanism -XX:-UsePerfData,禁止 jstack,jmap 等等 jdk 工具連接
關於前置模塊,其實還有很多很奇葩的故事,鑒於時間關系,這里就不展開講了。以後有機會可以當笑話給大家講。
組合凈值計算性能優化:
一支股票可能在超過20萬個組合里(南車北車中車,暴風科技)
離線計算,存儲計算後的結果
股價3秒變一次,涉及到這支股票的所有組合理論上也需要每 3 秒重新計算一次
大家可能會問,為什麼不用戶請求時,實時計算呢?這是因為「組合凈值」中還包括分紅送配,分股,送股,拆股,合股,現金,紅利等等,業務太過復雜,開發初期經常需要調整計算邏輯,所以就設計成後台離線計算模式了。當前正在改造,將分紅送配邏輯做成離線計算,股價組成的凈值實時計算。介面請求是,將實時計算部分和離線計算部分合並成最終結果。
實際上,我們的計算邏輯是比較低效的:循環遍歷所有的組合,對每個組合,獲取所有的價值數據,然後計算。完成一遍循環後,立即開始下一輪循環。
優化:
分級:活躍用戶的活躍組合,其它組合。
批量:拉取當前所有股票的現價到 JVM 內存里,這一輪的所有組合計算都用這一份股價快照。
關於這個話題的更詳細內容,感興趣的可以參考雪球組合業務總監張岩楓在今年的 arch summit 深圳大會上的分享:構建高可用的雪球投資組合系統技術實踐 http://sz2015.archsummit.com/speakers/201825
最後,我們還做了一些通用的架構和性能優化,包括jdk升級到8,開發了一個基於 zookeeper 的 config center 和開關降級系統
四. 聊聊關於架構優化的一些總結和感想
在各種場合經常聽說的架構優化,一般都是優化某一個具體的業務模塊,將性能優化到極致。而在雪球,我們做的架構優化更多的是從問題出發,解決實際問題,解決到可以接受的程度即可。可能大家看起來會覺得很凌亂,而且每個事情單獨拎出來好像都不是什麼大事。
我們在對一個大服務做架構優化時,一般是往深入的本質進行挖掘;當我們面對一堆架構各異的小服務時,「架構優化」的含義其實是有一些不一樣的。大部分時候,我們並不需要(也沒有辦法)深入到小服務的最底層進行優化,而是去掉或者優化原來明顯不合理的地方就可以了。
在快速迭代的創業公司,我們可能不會針對某一個服務做很完善的架構設計和代碼實現,當出現各種問題時,也不會去追求極致的優化,而是以解決瓶頸問題為先。
即使我們經歷過一回將 snowball 拆分服務化的過程,但當我們重新上一個新的業務時,我們依然選擇將它做成一個大一統的服務。只是這一次,我們會提前定義好每個模塊的 service 介面,為以後可能的服務化鋪好路。
在創業公司里,重寫是不能接受的;大的重構,從時間和人力投入上看,一般也是無法承擔的。而「裱糊匠」式做法,哪裡有性能問題就加機器,加緩存,加資料庫,有可用性問題就加重試,加log,出故障就加流程,加測試,這也不是雪球團隊工作方式。我們一般都採用最小改動的方式,即,准確定義問題,定位問題根源,找到問題本質,制定最佳方案,以最小的改動代價,將問題解決到可接受的范圍內。
我們現在正在所有的地方強推3個數據指標:qps,p99,error rate。每個技術人員對自己負責的服務,一定要有最基本的數據指標意識。數字,是發現問題,定位根源,找到本質的最重要的依賴條件。沒有之一。
我們的原則:保持技術棧的一致性和簡單性,有節制的嘗試新技術,保持所有線上服務依賴的技術可控,簡單來說,能 hold 住。
能用cache的地方絕不用db,能非同步的地方,絕不同步。俗稱的:吃一塹,長一智。
特事特辦:業務在發展,需求在變化,實現方式也需要跟著變化。簡單的來說:遺留系統的優化,最佳方案就是砍需求,呵呵。
⑥ 通聯上列印行情數據,應用redis,怎麼沒有數據輸出
凡是rails需要使用緩存的地方,比如頁面片段緩存等,都會用到指定的默認緩存系統。
這個配置起來很簡單,只需要一行代碼即可,而且也不必關心rails具體在redis上是怎麼實現的,自有redis_store來完成這一切。
⑦ [PHP]關於使用緩存技術處理並發請求的解決方案
爬到的數據丟到redis/memcache裡面,是在不會,就丟mysql裡面。
用戶每次訪問,先從緩存裡面讀,讀不到就去爬,爬完再丟進去,設個有效期。
像這樣就是一個閉環,訪問緩存-》不存在就爬數據-》存緩存。
如果memcache redis不會就去看看教程,不難的,實在不行就存資料庫,讀的時候對比一下時間就好了