Ⅰ 怎麼在anaconda上安裝openai gym 在windows里
1 在windows里安裝最新版本的anaconda；
2 通過以下命令在anaconda prompt中創建一個叫myenv的環境；
conda create --name myenv
3 激活剛才創建的環境；
activate myenv
4 在myenv環境中安裝目前最新版本的包管理程序;
conda install -c conda-forge pip
5 用pip安裝gym。
pip install gym
通過以上步驟就是實現了在myenv環境中安裝gym。
Ⅱ 深度強化學習 如何訓練
多謝邀請。關於gym可參考我的知乎專欄帖子：強化學習實戰 第一講 gym學習及二次開發 - 知乎專欄。關注該專欄，可以學到很多強化學習的知識（理論知識和實踐知識）。
下面正式回答你的問題：搞深度強化學習，訓練環境的搭建是必須的，因為訓練環境是測試演算法，訓練參數的基本平台（當然，也可以用實際的樣機進行訓練，但時間和代價是相當大的）。
現在大家用的最多的是openai的gym（ github.com/openai/gym ），或者universe
(github.com/openai/unive),。這兩個平台非常好，是通用的平台，而且與tensorflow和Theano無縫連接，雖然目前只支持python語言，但相信在不久的將來也會支持其他語言。下面我根據自己的理解，講下關於gym的一些事情。
Gym的原理是什麼？它是新東西嗎？
在我看來，gym並不是完全的新東西，它不過是用python語言寫的模擬器。對於模擬器大家肯定並不陌生。學控制的人都用過或聽過matlab的simulink，學機械的人應該用過動力學模擬軟體adams，gym在本質上和simulink，adams沒什麼區別。
如果把Gym，simulink，adams等等這些模擬器去掉界面顯示（如動畫顯示），剩下的本質不過是一組微分方程。所以Gym，simulink，adams等等一切模擬器的本質是微分方程。比如，運動學微分方程，動力學微分方程，控制方程等。Gym在構造環境時，主要的任務就是構建描述你模型的微分方程。
我們舉例說明：
Gym中的CartPole環境是如何構建的：
下面的鏈接是gym中CartPole環境模型：
github.com/openai/gym/b
在該環境模型中，最核心的函數是def _step(self, action)函數，該函數定義了CartPole的環境模型，而在該函數中最核心的代碼如下：
圖中方框中又是這段代碼中最核心的地方，這兩行代碼便決定了CartPole的模型。簡單的模型，通過手工推導便可完成。
那麼對於復雜的模型，比如戰斗機器人，各種大型游戲怎麼辦呢？
這就需要專門的多剛體模擬軟體了，這些軟體背後的核心技術都是物理引擎。大家可以搜下物理引擎這個詞，游戲以及各種模擬軟體都要用到物理引擎，用的多的而且開源的物理引擎有：ODE, Bullet, Havok, Physx等。原則上來說利用這些物理引擎都可以搭建訓練環境。Gym在搭建機器人模擬環境用的是mujoco，ros裡面的物理引擎是gazebo。
下面針對你的問題，逐條回答：
1. gym中CartPole, MountainCar這種環境的構建原理是怎樣的？
答：這種簡單的環境只需要手動推導便可寫出動力學方程，然後可以人為編寫環境模型。只是，gym中除了給出了動力學方程，還加入了界面程序，將結果更直觀地顯示出來。
2. gym中的環境源代碼能不能查看和修改？
Gym是開源開發工具，所有代碼都可查看和修改。可以模仿gym已有的例子自己創建環境。Gym創建環境很方便，只需要編寫你的環境模型，並將你的環境模型注冊到環境文件中即可，至於如何構建新的環境，請關注我的知乎專欄，我會在後面講一講。我的專欄中深入剖析了gym並給出了創建自己環境的實例，強化學習實戰 第一講 gym學習及二次開發 - 知乎專欄。
Ⅲ 現貨白銀和股票的區別
你好，白銀和股票的區別：
1從成交量來看，股票1000-3000億人民幣；黃金市場每天的成交量2萬億美金。 無莊家控盤
2、從交易時間來看，股票是4小時交易，黃金是24小時交易。
3、從交易規則來看，股票只能買漲，黃金可買漲買跌，雙向交易。
換句話說就是股票只有漲的時候可以賺錢，跌的時候不能賺，現貨黃金漲跌都可
4、從交易品種來說，股票有一千七百多支，選股比較麻煩，黃金產品單一，容易分析。
5、股票做的是國內市場，容易受莊家操控，現貨黃金做的是國際市，由於成交量極大，所以裡面沒有莊家，市場更加公平透明。
6、上市公司可能因經營不善而清盤，化為烏有；黃金則永遠存在，而且一直是國際貨幣體系中很重要的組成部分。 硬性貨幣。
7、股票是100%的資金投入，黃金是10%的保證金投入。股票沒有杠桿，1000塊錢就只能買1000塊錢的股票，現貨黃金有100倍的杠桿，可以把資金放大100倍使用，可以放大收益。
8、股票是
希望對你有幫助！
Ⅳ openai排名是怎樣的
openai暫未排名。
OpenAI是由諸多矽谷大亨聯合建立的人工智慧非營利組織，成立於2015年12月。OpenAI和谷歌、蘋果、IBM等知名公司創辦的其它一系列項目一道探索先進計算機技術，解決面部識別或語言翻譯等問題。
OpenAI提出了一種增強學習的形式，稱為約束增強學習，它實現了AI必須約束的成本函數。與通常的做法相反，代理人的行為由為實現目標而量身定製的功能來描述，而受約束的代理人則要找出實現某些確定結果的折衷方案。
Ⅳ 我用通達信炒股軟體，使用定製版面在交易時間段4K顯示器卡頓，換1K顯示器正常，不在股票交易時間段都
股票交易時間段實時數據量比較大，應該是cpu和顯卡有點超負荷帶不動4K的顯示器，解決辦法可以嘗試清理一下軟體的緩存，如果沒有改善的就只能升級一下電腦配置了【摘要】
我用通達信炒股軟體，使用定製版面在交易時間段4K顯示器卡頓，換1K顯示器正常，不在股票交易時間段都好用不卡頓，什麼原因有什麼解決辦法【提問】
股票交易時間段實時數據量比較大，應該是cpu和顯卡有點超負荷帶不動4K的顯示器，解決辦法可以嘗試清理一下軟體的緩存，如果沒有改善的就只能升級一下電腦配置了【回答】
Ⅵ 去哪裡找python的開源項目
GitHub是一個面向開源及私有軟體項目的託管平台，因為只支持git 作為唯一的版本庫格式進行託管，故名GitHub。作為開源代碼庫以及版本控制系統，Github擁有超過900萬開發者用戶。隨著越來越多的應用程序轉移到了雲上，Github已經成為了管理軟體開發以及發現已有代碼的首選方法。在GitHub，用戶可以十分輕易地找到海量的開源代碼。
下面給大家介紹一些GitHub上25個開源項目：
（1）TensorFlow Models
如果你對機器學習和深度學習感興趣，一定聽說過TensorFlow。TensorFlow Models是一個開源存儲庫，可以找到許多與深度學習相關的庫和模型。
（GitHub： https://github.com/tensorflow/models ）
（2）Keras
Keras是一個高級神經網路API，用Python編寫，能夠在TensorFlow，CNTK或Theano之上運行。旨在完成深度學習的快速開發（GitHub： https://github.com/keras-team/keras ）
（3）Flask
Flask 是一個微型的 Python 開發的 Web 框架，基於Werkzeug WSGI工具箱和Jinja2 模板引擎，使用BSD授權。
（GitHub： https://github.com/pallets/flask ）
（4）scikit-learn
scikit-learn是一個用於機器學習的Python模塊，基於 NumPy、SciPy 和 matplotlib 構建。，並遵循 BSD 許可協議。
（GitHub： https://github.com/scikit-learn ）
（5）Zulip
Zulip是一款功能強大的開源群聊應用程序，它結合了實時聊天的即時性和線程對話的生產力優勢。Zulip作為一個開源項目，被許多世界500強企業，大型組織以及其他需要實時聊天系統的用戶選擇使用，該系統允許用戶每天輕松處理數百或數千條消息。Zulip擁有超過300名貢獻者，每月合並超過500次提交，也是規模最大，發展最快的開源群聊項目。
（GitHub： https://github.com/zulip/zulip ）
相關推薦：《Python入門教程》
（6）Django
Django 是 Python 編程語言驅動的一個開源模型-視圖-控制器（MVC）風格的 Web 應用程序框架，旨在快速開發出清晰，實用的設計。使用 Django，我們在幾分鍾之內就可以創建高品質、易維護、資料庫驅動的應用程序。
（GitHub： https://github.com/django/django ）
（7）Rebound
Rebound 是一個當你得到編譯錯誤時即時獲取 Stack Overflow 結果的命令行工具。 就用 rebound 命令執行你的文件。這對程序員來說方便了不少。
（GitHub： https://github.com/shobrook/rebound ）
（8）Google Images Download
這是一個命令行python程序，用於搜索Google Images上的關鍵字/關鍵短語，並可選擇將圖像下載到您的計算機。你也可以從另一個python文件調用此腳本。
（GitHub： https://github.com/hardikvasa/google-images-download ）
（9）YouTube-dl
youtube-dl 是基於 Python 的命令行媒體文件下載工具，完全開源免費跨平台。用戶只需使用簡單命令並提供在線視頻的網頁地址即可讓程序自動進行嗅探、下載、合並、命名和清理，最終得到已經命名的完整視頻文件。
（GitHub： htt ps://github.com/rg3/youtube-dl ）
（10）System Design Primer
此repo是一個系統的資源集合，可幫助你了解如何大規模構建系統。
（GitHub： https://github.com/donnemartin/system-design-primer ）
（11）Mask R-CNN
Mask R-CNN用於對象檢測和分割。這是對Python 3，Keras和TensorFlow的Mask R-CNN實現。該模型為圖像中對象的每個實例生成邊界框和分割蒙版。它基於特Feature Pyramid Network（FPN）和 ResNet101 backbone。
（GitHub： https://github.com/matterport/Mask_RCNN ）
（12）Face Recognition
Face Recognition 是一個基於 Python 的人臉識別庫，使用十分簡便。這還提供了一個簡單的face_recognition命令行工具，可以讓您從命令行對圖像文件夾進行人臉識別！
（GitHub： https://github.com/ageitgey/face_recognition ）
（13）snallygaster
用於掃描HTTP伺服器上的機密文件的工具。
（GitHub： https://github.com/hannob/snallygaster ）
（14）Ansible
Ansible是一個極其簡單的IT自動化系統。它可用於配置管理，應用程序部署，雲配置，支持遠程任務執行和多節點發布 - 包括通過負載平衡器輕松實現零停機滾動更新等操作。
（GitHub： https://github.com/ansible/ansible ）
（15）Detectron
Detectron是Facebook AI 研究院開源的的軟體系統，它實現了最先進的目標檢測演算法，包括Mask R-CNN。它是用Python編寫的，由Caffe2深度學習框架提供支持。
（16）asciinema
終端會話記錄器和asciinema.org的最佳搭檔。
（GitHub： https://github.com/asciinema/asciinema ）
（17）HTTPie
HTTPie 是一個開源的命令行的 HTTP 工具包，其目標是使與Web服務的CLI交互盡可能人性化。它提供了一個簡單的http命令，允許使用簡單自然的語法發送任意HTTP請求，並顯示彩色輸出。HTTPie可用於測試，調試以及通常與HTTP伺服器交互。
（GitHub： https://github.com/jakubroztocil/httpie ）
（18）You-Get
You-Get是一個小型命令行實用程序，用於從Web下載媒體內容（視頻，音頻，圖像），支持國內外常用的視頻網站。
（GitHub： https://github.com/soimort/you-get ）
（19）Sentry
Sentry從根本上講是一項服務，可以幫助用戶實時監控和修復崩潰。基於Django構建，它包含一個完整的API，用於從任何語言、任何應用程序中發送事件。
（GitHub: https://github.com/getsentry/sentry ）
（20）Tornado
Tornado是使用Python開發的全棧式（full-stack）Web框架和非同步網路庫，，最初是由FriendFeed上開發的。通過使用非阻塞網路I / O，Tornado可以擴展到數萬個開放連接，是long polling、WebSockets和其他需要為用戶維護長連接應用的理想選擇。
（GitHub： https://github.com/tornadoweb/tornado ）
（21）Magenta
Magenta是一個探索機器學習在創造藝術和音樂過程中的作用的研究項目。這主要涉及開發新的深度學習和強化學習演算法，用於生成歌曲，圖像，繪圖等。但它也是構建智能工具和界面的探索，它允許藝術家和音樂家使用這些模型。
（GitHub： https://github.com/tensorflow/magenta ）
（22）ZeroNet
ZeroNet是一個利用比特幣的加密演算法和BitTorrent技術提供的不受審查的網路，完全開源。
（GitHub： https://github.com/HelloZeroNet/ZeroNet ）
（23）Gym
OpenAI Gym是一個用於開發和比較強化學習演算法的工具包。這是Gym的開源庫，可讓讓你訪問標准化的環境。
（GitHub： https://github.com/openai/gym ）
（24）Pandas
Pandas是一個Python包，提供快速，靈活和富有表現力的數據結構，該工具是為了解決數據分析任務而創建的。Pandas 納入了大量庫和一些標準的數據模型，提供了高效地操作大型數據集所需的工具。此外，它還有更廣泛的目標，即成為所有語言中最強大，最靈活的開源數據分析/操作工具。它目前已經朝著這個目標邁進。
（GitHub： https://github.com/pandas-dev/pandas ）
（25）Luigi
Luigi 是一個 Python 模塊，可以幫你構建復雜的批量作業管道。處理依賴決議、工作流管理、可視化展示等等，內建 Hadoop 支持。（GitHub： https://github.com/spotify/luigi ）
Ⅶ TensorForce是怎樣煉成的
TensorForce是怎樣煉成的
本文將圍繞一個實際的問題進行介紹：應用強化學習的社區可以如何從對腳本和單個案例的收集更進一步，實現一個強化學習 API——一個用於強化學習的 tf-learn 或 skikit-learn？在討論 TensorForce 框架之前，我們將談一談啟發了這個項目的觀察和思想。如果你只想了解這個 API，你可以跳過這一部分。我們要強調一下：這篇文章並不包含對深度強化學習本身的介紹，也沒有提出什麼新模型或談論最新的最佳演算法，因此對於純研究者來說，這篇文章可能並不會那麼有趣。
開發動機
假設你是計算機系統、自然語言處理或其它應用領域的研究者，你一定對強化學習有一些基本的了解，並且有興趣將深度強化學習（deep RL）用來控制你的系統的某些方面。
對深度強化學習、DQN、vanilla 策略梯度、A3C 等介紹文章已經有很多了，比如 Karpathy 的文章對策略梯度方法背後的直觀思想就進行了很好的描述。另外，你也能找到很多可以幫助上手的代碼，比如 OpenAI 上手智能體、rllab以及 GitHub 上許多特定的演算法。
但是，我們發現在強化學習的研究框架開發和實際應用之間還存在一個巨大的鴻溝。在實際應用時，我們可能會面臨如下的問題：
•強化學習邏輯與模擬句柄的緊密耦合：模擬環境 API 是非常方便的，比如，它們讓我們可以創建一個環境對象然後將其用於一個 for 循環中，同時還能管理其內部的更新邏輯（比如：通過收集輸出特徵）。如果我們的目標是評估一個強化學習思想，那麼這就是合理的，但將強化學習代碼和模擬環境分開則要艱難得多。它還涉及到流程式控制制的問題：當環境就緒後，強化學習代碼可以調用它嗎？或者當環境需要決策時，它會調用強化學習智能體嗎？對於在許多領域中實現的應用強化學習庫，我們往往需要後者。
•固定的網路架構：大多數實現案例都包含了硬編碼的神經網路架構。這通常並不是一個大問題，因為我們可以很直接地按照需求加入或移除不同的網路層。盡管如此，如果有一個強化學習庫能夠提供聲明式介面的功能，而無需修改庫代碼，那麼情況就會好得多。此外，在有的案例中，修改架構（出人意外地）要難得多，比如當需要管理內部狀態的時候（見下文）。
•不兼容狀態/動作介面：很多早期的開源代碼都使用了流行的 OpenAI Gym 環境，具有平坦的狀態輸入的簡單介面和單個離散或連續動作輸出。但 DeepMind Lab 則使用了一種詞典格式，一般具有多個狀態和動作。而 OpenAI Universe 則使用的是命名關鍵事件（named key events）。理想情況下，我們想讓強化學習智能體能處理任意數量的狀態和動作，並且具有潛在的不同類型和形狀。比如說，TensorForce 的一位作者正在 NLP 中使用強化學習並且想要處理多模態輸入，其中一個狀態在概念上包含兩個輸入——一張圖像和一個對應的描述。
•不透明的執行設置和性能問題：寫 TensorFlow 代碼的時候，我們很自然地會優先關注邏輯。這會帶來大量重復/不必要的運算或實現不必要的中間值。此外，分布式/非同步/並行強化學習的目標也有點不固定，而分布式 TensorFlow 需要對特定的硬體設置進行一定程度的人工調節。同樣，如果最終有一種執行配置只需要聲明可用設備或機器，然後就能在內部處理好其它一切就好了，比如兩台有不同 IP 的機器可以運行非同步 VPG。
明確一下，這些問題並不是要批評研究者寫的代碼，因為這些代碼本來就沒打算被用作 API 或用於其它應用。在這里我們介紹的是想要將強化學習應用到不同領域中的研究者的觀點。
TensorForce API
TensorForce 提供了一種聲明式介面，它是可以使用深度強化學習演算法的穩健實現。在想要使用深度強化學習的應用中，它可以作為一個庫使用，讓用戶無需擔心所有底層的設計就能實驗不同的配置和網路架構。我們完全了解當前的深度強化學習方法往往比較脆弱，而且需要大量的微調，但這並不意味著我們還不能為強化學習解決方案構建通用的軟體基礎設施。
TensorForce 並不是原始實現結果的集合，因為這不是研究模擬，要將原始實現用在實際環境的應用中還需要大量的工作。任何這樣的框架都將不可避免地包含一些結構決策，這會使得非標準的事情變得更加惱人（抽象泄漏（leaky abstractions））。這就是為什麼核心強化學習研究者可能更傾向於從頭打造他們的模型的原因。使用 TensorForce，我們的目標是獲取當前最佳研究的整體方向，包含其中的新興見解和標准。
接下來，我們將深入到 TensorForce API 的各個基本方面，並討論我們的設計選擇。
創建和配置智能體
這個示例中的狀態和動作是更一般的狀態/動作的短形式（short-form）。比如由一張圖像和一個描述構成多模態輸入按如下方式定義。類似地，也可以定義多輸出動作。注意在整個代碼中，單個狀態/動作的短形式必須被持續不斷地用於與智能體的通信。
配置參數依賴於所用的基本智能體和模型。
TensorForce 目前提供了以下強化學習演算法：
•隨機智能體基線（RandomAgent）
•帶有 generalized advantage estimation 的 vanilla 策略梯度（VPGAgent）
•信任區域策略優化（TRPOAgent）
•深度 Q 學習/雙深度 Q 學習（DQNAgent）
•規范化的優勢函數（NAFAgent）
•對專家演示的深度 Q 學習（DQFDAgent）
•Asynchronous Advantage Actor-Critic（A3C）（可以隱含地通過 distributed 使用）
最後一項的意思是說並沒有 A3CAgent 這樣的東西，因為 A3C 實際上描述的是一種非同步更新的機制，而不是一種特定的智能體。因此，使用分布式 TensorFlow 的非同步更新機制是通用 Model 基類的一部分，所有智能體都衍生於此。正如論文《Asynchronous Methods for Deep Reinforcement Learning》中描述的那樣，A3C 是通過為 VPGAgent 設置 distributed flag 而隱含地實現的。應該指出，A3C 並不是對每種模型而言都是最優的分布式更新策略（對一些模型甚至完全沒意義），我們將在本文結尾處討論實現其它方法（比如 PAAC）。重要的一點是要在概念上將智能體和更新語義的問題與執行語義區分開。
我們還想談談模型（model）和智能體（agent）之間的區別。Agent 類定義了將強化學習作為 API 使用的介面，可以管理傳入觀察數據、預處理、探索等各種工作。其中兩個關鍵方法是 agent.act(state) 和 agent.observe(reward, terminal)。agent.act(state) 返回一個動作，而 agent.observe(reward, terminal) 會根據智能體的機制更新模型，比如離策略記憶回放（MemoryAgent）或在策略批處理（BatchAgent）。注意，要讓智能體的內在機制正確工作，必須交替調用這些函數。Model 類實現了核心強化學習演算法，並通過 get_action 和 update 方法提供了必要的介面，智能體可以在相關點處內在地調用。比如說，DQNAgent 是一個帶有 DQNModel 和額外一行（用於目標網路更新）的 MemoryAgent 智能體。
神經網路配置
強化學習的一個關鍵問題是設計有效的價值函數。在概念上講，我們將模型看作是對更新機制的描述，這有別於實際更新的東西——在深度強化學習的例子中是指一個（或多個）神經網路。因此，模型中並沒有硬編碼的網路，而是根據配置不同的實例化。
在上面的例子中，我們通過編程創造了一個網路配置作為描述每一層的詞典列表。這樣的配置也可以通過 JSON 給出，然後使用一個效用函數將其變成一個網路構建器（network constructor）。
默認的激活層是 relu，但也還有其它激活函數可用（目前有 elu、selu、softmax、tanh 和 sigmoid）。此外也可以修改層的其它性質.
我們選擇不使用已有的層實現（比如來自 tf.layers），從而能對內部運算施加明確的控制，並確保它們能與 TensorForce 的其餘部分正確地整合在一起。我們想要避免對動態 wrapper 庫的依賴，因此僅依賴於更低層的 TensorFlow 運算。
我們的 layer 庫目前僅提供了非常少的基本層類型，但未來還會擴展。
到目前為止，我們已經給出了 TensorForce 創建分層網路的功能，即一個採用單一輸入狀態張量的網路，具有一個層的序列，可以得出一個輸出張量。但是在某些案例中，可能需要或更適合偏離這樣的層堆疊結構。最顯著的情況是當要處理多個輸入狀態時，這是必需的，使用單個處理層序列無法自然地完成這一任務。
我們目前還沒有為自動創建對應的網路構建器提供更高層的配置介面。因此，對於這樣的案例，你必須通過編程來定義其網路構建器函數，並像之前一樣將其加入到智能體配置中。
內部狀態和 Episode 管理
和經典的監督學習設置（其中的實例和神經網路調用被認為是獨立的）不同，強化學習一個 episode 中的時間步取決於之前的動作，並且還會影響後續的狀態。因此除了其每個時間步的狀態輸入和動作輸出，可以想像神經網路可能有內部狀態在 episode 內的對應於每個時間步的輸入/輸出。下圖展示了這種網路隨時間的工作方式：
這些內部狀態的管理（即在時間步之間前向傳播它們和在開始新 episode 時重置它們）可以完全由 TensorForce 的 agent 和 model 類處理。注意這可以處理所有的相關用例（在 batch 之內一個 episode，在 batch 之內多個 episode，在 batch 之內沒有終端的 episode）。
在這個示例架構中，稠密層的輸出被送入一個 LSTM cell，然後其得出該時間步的最終輸出。當向前推進該 LSTM 一步時，其內部狀態會獲得更新並給出此處的內部狀態輸出。對於下一個時間步，網路會獲得新狀態輸入及這個內部狀態，然後將該 LSTM 又推進一步並輸出實際輸出和新的內部 LSTM 狀態，如此繼續……
對於帶有內部狀態的層的自定義實現，該函數不僅必須要返回該層的輸出，而且還要返回一個內部狀態輸入佔位符的列表、對應的內部狀態輸出張量和一個內部狀態初始化張量列表（這些都長度相同，並且按這個順序）。
預處理狀態
我們可以定義被應用於這些狀態（如果指定為列表的詞典，則可能是多個狀態）的預處理步驟.
這個 stack 中的每一個預處理器都有一個類型，以及可選的 args 列表和/或 kwargs 詞典。比如 sequence 預處理器會取最近的四個狀態（即：幀）然後將它們堆疊起來以模擬馬爾可夫屬性。隨便一提：在使用比如之前提及的 LSTM 層時，這顯然不是必需的，因為 LSTM 層可以通過內部狀態建模和交流時間依賴。
探索
探索可以在 configuration 對象中定義，其可被智能體應用到其模型決定所在的動作上（以處理多個動作，同樣，會給出一個規范詞典）。比如，為了使用 Ornstein-Uhlenbeck 探索以得到連續的動作輸出，下面的規范會被添加到配置中。
用 Runner 效用函數使用智能體
讓我們使用一個智能體，這個代碼是在我們測試環境上運行的一個智能體，我們將其用於連續積分——一個為給定智能體/模型的工作方式驗證行動、觀察和更新機制的最小環境。注意我們所有的環境實現（OpenAI Gym、OpenAI Universe、DeepMind Lab）都使用了同一個介面，因此可以很直接地使用另一個環境運行測試。
Runner 效用函數可以促進一個智能體在一個環境上的運行過程。給定任意一個智能體和環境實例，它可以管理 episode 的數量，每個 episode 的最大長度、終止條件等。Runner 也可以接受 cluster_spec 參數，如果有這個參數，它可以管理分布式執行（TensorFlow supervisors/sessions/等等）。通過可選的 episode_finished 參數，你還可以周期性地報告結果，還能給出在最大 episode 數之前停止執行的指標。
正如在引言中說的一樣，在一個給定應用場景中使用 runner 類取決於流程式控制制。如果使用強化學習可以讓我們合理地在 TensorForce 中查詢狀態信息（比如通過一個隊列或網路服務）並返回動作（到另一個隊列或服務），那麼它可被用於實現環境介面，並因此可以使用（或擴展）runner 效用函數。
更常見的情況可能是將 TensorForce 用作驅動控制的外部應用庫，因此無法提供一個環境句柄。對研究者來說，這可能無足輕重，但在計算機系統等領域，這是一個典型的部署問題，這也是大多數研究腳本只能用於模擬，而無法實際應用的根本原因。
另外值得提及的一點是聲明式的中心配置對象使得我們可以直接用超參數優化為強化學習模型的所有組件配置介面，尤其還有網路架構。
進一步思考
我們希望你能發現 TensorForce 很有用。到目前為止，我們的重點還是讓架構先就位，我們認為這能讓我們更持續一致地實現不同的強化學習概念和新的方法，並且避免探索新領域中的深度強化學慣用例的不便。
在這樣一個快速發展的領域，要決定在實際的庫中包含哪些功能是很困難的。現在的演算法和概念是非常多的，而且看起來在 Arcade Learning Environment (ALE) 環境的一個子集上，每周都有新想法得到更好的結果。但也有一個問題存在：許多想法都只在易於並行化或有特定 episode 結構的環境中才有效——對於環境屬性以及它們與不同方法的關系，我們還沒有一個准確的概念。但是，我們能看到一些明顯的趨勢：
•策略梯度和 Q 學習方法混合以提升樣本效率（PGQ、Q-Prop 等）：這是一種合乎邏輯的事情，盡管我們還不清楚哪種混合策略將占上風，但是我們認為這將成為下一個「標准方法」。我們非常有興趣理解這些方法在不同應用領域（數據豐富/數據稀疏）的實用性。我們一個非常主觀的看法是大多數應用研究者都傾向於使用 vanilla 策略梯度的變體，因為它們易於理解、實現，而且更重要的是比新演算法更穩健，而新演算法可能需要大量的微調才能處理潛在的數值不穩定性（numerical instabilities）。一種不同的看法是非強化學習研究者可能只是不知道相關的新方法，或者不願意費力去實現它們。而這就激勵了 TensorForce 的開發。最後，值得考慮的是，應用領域的更新機制往往沒有建模狀態、動作和回報以及網路架構重要。
•更好地利用 GPU 和其他可用於並行/一步/分布式方法的設備（PAAC、GA3C 等）：這一領域的方法的一個問題是關於收集數據與更新所用時間的隱含假設。在非模擬的領域，這些假設可能並不成立，而理解環境屬性會如何影響設備執行語義還需要更多的研究。我們仍然在使用 feed_dicts，但也在考慮提升輸入處理的性能。
•探索模式（比如，基於計數的探索、參數空間雜訊……）
•大型離散動作空間、分層模型和子目標（subgoal）的分解。比如 Dulac-Arnold 等人的論文《Deep Reinforcement Learning in Large Discrete Action Spaces》。復雜離散空間（比如許多依賴於狀態的子選項）在應用領域是高度相關的，但目前還難以通過 API 使用。我們預計未來幾年會有大量成果。
•用於狀態預測的內部模塊和基於全新模型的方法：比如論文《The Predictron: End-To-End Learning and Planning》。
•貝葉斯深度強化學習和關於不確定性的推理
總的來說，我們正在跟蹤這些發展，並且將會將此前錯過的已有技術（應該有很多）納入進來；而一旦我們相信一種新想法有變成穩健的標准方法的潛力，我們也會將其納入進來。在這個意義上，我們並沒有與研究框架構成明確的競爭，而是更高程度的覆蓋。
Ⅷ 有哪些證券公司可以提供環境給個人寫股票交易策略
現在證券公司很少有像原來那種交易大盤實時播放單獨安排一個交易區進行交易了，現在很方便手機上就可以操作。一般來說證券公司都是有會議室或者茶室的，如果有需要可以到營業部進行使用。
Ⅸ openai gym 包含什麼環境
OpenAL（Open Audio Library）是自由軟體界的跨平台音效API。它設計給多通道三維位置音效的特效表現。其 API 風格模仿自 OpenGL。 OpenAL 主要的功能是在來源物體、音效緩沖和收聽者中編碼。來源物體包含一個指向緩沖區的指標、聲音的速度、位置...