生成式AI風暴來襲，ChatGPT會搶走金融分析師的飯碗嗎？

好消息是，像ChatGPT這樣的產品很可能無法通過CFA考試，敲開通往大型金融機構的大門，但壞消息是，它們能取得經濟學和法學學位，在一定程度上可以取代初級賣方分析師。

最新證據來自最近公布的兩篇學術論文，研究人員用ChatGPT解讀美聯儲聲明中的“鷹鴿”含量，以及新聞對于股票是利好還是利空。

(資料圖片)

結果顯示，ChatGPT表現得相當不錯，不僅超越了傳統(tǒng)分析方法，還打敗了其他現有生成式AI模型對手。

破解美聯儲“謎語”，ChatGPT遙遙領先

4月10日，里士滿聯儲量化監(jiān)督和研究小組的兩位成員發(fā)表了題為《ChatGPT能否破譯美聯儲講話》的論文，測試GPT-3模型從美聯儲講話中判斷其態(tài)度的能力。

兩位研究人員隨機抽取FOMC公告中的500 個句子，然后由人類判斷是“鴿派”“基本鴿派”“中性”“基本鷹派”還是“鷹派”，對應數字分別為-1、-0.5、0、0.5和1。

這里值得一提的是，研究人員使用五個分類而非三個（“鴿派”中性“鷹派”），是為了測試GPT能否辨別美聯儲表態(tài)中的細微差別。

為提高人類參照組的精確度，這些句子由三名人類審核員獨立打標簽，計算每個標簽下對應句子的數量，再取三個結果的平均值。

與ChatGPT一起參加考試的還有其他神經網絡語言模型（NLP）,包括谷歌Bert大模型，金融情緒詞典Loughran & McDonald（LM）、 Henry以及日常語言情緒詞典Mohammad和Turney。

測試分成兩部分。研究人員先是讓機器考生在不進行樣本學習的情況下參加測試，然后，又讓它們學習400個句子的分類之后再處理剩下的100個句子。

結果顯示，無論是否“裸考”，ChatGPT對美聯儲講話的態(tài)度解讀在所有機器考生中是最貼近人類的。

先來看“裸考”的結果。

GPT-3打出的標簽與人類最為匹配，尤其是“鴿派”、“基本鷹派”和“鷹派”標簽。

Bert大大高估了“鴿派”句子的數量，情緒詞典則大大低估了“鴿派”或“基本鷹派”“鴿派”句子的數量。

為縮小研究結果的誤差，研究人員又計算了結果的平均絕對誤差(MAE)、均方根誤差(RMSE)，比較準確度和Kappa系數(用于一致性檢驗的指標)。

研究人員還采用了F1分數和均衡準確率（均為機器學習模型評估指標）來進一步提高研究的準確度。

結果顯示，GPT-3成績遙遙領先其他機器。

它產生的MAE和RMSE誤差值最小，準確度和Kappa系數最高，就連F1分數和均衡準確率也大多高于其他機器。

Bert模型雖然表現不及GPT-3，但好于情緒詞典。

接下來再看充分學習后的考試成績。

不出所料，GPT-3又是第一名，且成績明顯提高。

其中最亮眼的是，MAE誤差值幾乎是“裸考”成績的一半，精確度提高了近 1.5 倍，Kappa系數增加了一倍以上。

GPT-3的表現確實驚艷。

以美聯儲2013年5月的一份聲明中的措辭為例。

美聯儲表示：“總的來說，最近幾個月勞動力市場狀況有所改善，但失業(yè)率仍然居高不下。”

ChatGPT的分類是“基本鴿派”，與分析師的結果完全一致。

研究人員驚嘆道：

撇開分類不談，GPT模型能夠解釋為什么某個句子要以某種方式被標記，這是一種超越任何現有NLP模型的能力，對研究人員來說意義非凡。

報告最后，研究人員將GPT-4與GPT-3進行了比較，發(fā)現在多數情況下，前者在“破譯”美聯儲講話方面有著更強的能力。

以下面的句子為例，美聯儲說：

鑒于目前通脹率低于2%，委員會將仔細監(jiān)測實現通脹目標的進展。

GPT-3將其判為“中性”，而GPT-4則判為“基本鴿派”，更接近分析師給予的“鴿派”分類。

還能預測股價？

來自佛羅里達大學的兩位研究人員近期公布了一篇題為《ChatGPT可以預測股價走勢嗎？回報的可預測性和大型語言模型》的論文。

這項研究基本上就是，讓ChatGPT去判斷新聞對于公司股價是利好、利空還是無關，研究人員根據ChatGPT解讀出的結果，來預測公司股票價格的走勢。

這實際上與解碼美聯儲聲明的研究大同小異。

研究人員提示ChatGPT：

假裝你是金融專家，是具有股票推薦經驗的金融專家。如果以下新聞是好消息，請回答“是”，如果是壞消息，請回答“否”，如果不確定，請回答“未知”。

然后，研究人員要求ChatGPT用一句話簡要說明該消息在短期/長期對于某公司的股價是好還是壞。

研究人員將ChatGPT的回答轉化為相應的數字，“是”“否”和“未知”分別對應1、-1和0。如果某家公司某一天有多條大新聞，研究人員將把這些數字進行平均計算。

最后，研究人員通過ChatGPT打出的分數分析第二天的股票回報，并對其打分進行線性回歸分析。

注意，研究使用的數據是2021年晚些時候之后的，因為這段時間的數據是ChatGPT大數據訓練中不包括的。

以甲骨文的一條新聞為例：

Rimini Street（企業(yè)軟件產品和服務提供商）在甲骨文的案件中被罰款63萬美元。

這一新聞是利好還是利空甲骨文？

ChatGPT的回應：

是（對應的數字為1），對Rimini Street的罰款可能會增強投資者對甲骨文保護其知識產權的信心，并增加對其產品和服務的需求。

因此，ChatGPT認為這一消息對甲骨文股價有利。

相比之下，Ravenpack 給出的負面情緒評分為-0.52，表明該新聞被認為是利空的。

研究最終發(fā)現，ChatGPT打出的情緒分數與股票走勢在統(tǒng)計意義上具有較強的相關性。不過，GPT-1、GPT-2 和Bert等更基礎的模型則無法準確預測。

結果還表明，ChatGPT 模型在預測股市回報方面優(yōu)于RavenPack等現有的情緒分析方法。

基于這一結果，研究人員認為，未來的研究應關注理解大語言模型（LLM）獲得預測能力的機制。

通過確定像ChatGPT這樣的模型成功預測股票回報的因素，研究人員可以開發(fā)更有針對性的策略來改善這些模型，并最大化它們在金融領域的效用。

【4.22上海線下大師課報名】人工智能科學家劉志毅深度解讀邁向AGI時代的生產力革命和產業(yè)級投資！

關鍵詞：