生成式AI風(fēng)暴來襲，ChatGPT會(huì)搶走金融分析師的飯碗嗎？

好消息是，像ChatGPT這樣的產(chǎn)品很可能無法通過CFA考試，敲開通往大型金融機(jī)構(gòu)的大門，但壞消息是，它們能取得經(jīng)濟(jì)學(xué)和法學(xué)學(xué)位，在一定程度上可以取代初級(jí)賣方分析師。

最新證據(jù)來自最近公布的兩篇學(xué)術(shù)論文，研究人員用ChatGPT解讀美聯(lián)儲(chǔ)聲明中的“鷹鴿”含量，以及新聞對(duì)于股票是利好還是利空。

(資料圖片)

結(jié)果顯示，ChatGPT表現(xiàn)得相當(dāng)不錯(cuò)，不僅超越了傳統(tǒng)分析方法，還打敗了其他現(xiàn)有生成式AI模型對(duì)手。

破解美聯(lián)儲(chǔ)“謎語”，ChatGPT遙遙領(lǐng)先

4月10日，里士滿聯(lián)儲(chǔ)量化監(jiān)督和研究小組的兩位成員發(fā)表了題為《ChatGPT能否破譯美聯(lián)儲(chǔ)講話》的論文，測(cè)試GPT-3模型從美聯(lián)儲(chǔ)講話中判斷其態(tài)度的能力。

兩位研究人員隨機(jī)抽取FOMC公告中的500 個(gè)句子，然后由人類判斷是“鴿派”“基本鴿派”“中性”“基本鷹派”還是“鷹派”，對(duì)應(yīng)數(shù)字分別為-1、-0.5、0、0.5和1。

這里值得一提的是，研究人員使用五個(gè)分類而非三個(gè)（“鴿派”中性“鷹派”），是為了測(cè)試GPT能否辨別美聯(lián)儲(chǔ)表態(tài)中的細(xì)微差別。

為提高人類參照組的精確度，這些句子由三名人類審核員獨(dú)立打標(biāo)簽，計(jì)算每個(gè)標(biāo)簽下對(duì)應(yīng)句子的數(shù)量，再取三個(gè)結(jié)果的平均值。

與ChatGPT一起參加考試的還有其他神經(jīng)網(wǎng)絡(luò)語言模型（NLP）,包括谷歌Bert大模型，金融情緒詞典Loughran & McDonald（LM）、 Henry以及日常語言情緒詞典Mohammad和Turney。

測(cè)試分成兩部分。研究人員先是讓機(jī)器考生在不進(jìn)行樣本學(xué)習(xí)的情況下參加測(cè)試，然后，又讓它們學(xué)習(xí)400個(gè)句子的分類之后再處理剩下的100個(gè)句子。

結(jié)果顯示，無論是否“裸考”，ChatGPT對(duì)美聯(lián)儲(chǔ)講話的態(tài)度解讀在所有機(jī)器考生中是最貼近人類的。

先來看“裸考”的結(jié)果。

GPT-3打出的標(biāo)簽與人類最為匹配，尤其是“鴿派”、“基本鷹派”和“鷹派”標(biāo)簽。

Bert大大高估了“鴿派”句子的數(shù)量，情緒詞典則大大低估了“鴿派”或“基本鷹派”“鴿派”句子的數(shù)量。

為縮小研究結(jié)果的誤差，研究人員又計(jì)算了結(jié)果的平均絕對(duì)誤差(MAE)、均方根誤差(RMSE)，比較準(zhǔn)確度和Kappa系數(shù)(用于一致性檢驗(yàn)的指標(biāo))。

研究人員還采用了F1分?jǐn)?shù)和均衡準(zhǔn)確率（均為機(jī)器學(xué)習(xí)模型評(píng)估指標(biāo)）來進(jìn)一步提高研究的準(zhǔn)確度。

結(jié)果顯示，GPT-3成績(jī)遙遙領(lǐng)先其他機(jī)器。

它產(chǎn)生的MAE和RMSE誤差值最小，準(zhǔn)確度和Kappa系數(shù)最高，就連F1分?jǐn)?shù)和均衡準(zhǔn)確率也大多高于其他機(jī)器。

Bert模型雖然表現(xiàn)不及GPT-3，但好于情緒詞典。

接下來再看充分學(xué)習(xí)后的考試成績(jī)。

不出所料，GPT-3又是第一名，且成績(jī)明顯提高。

其中最亮眼的是，MAE誤差值幾乎是“裸考”成績(jī)的一半，精確度提高了近 1.5 倍，Kappa系數(shù)增加了一倍以上。

GPT-3的表現(xiàn)確實(shí)驚艷。

以美聯(lián)儲(chǔ)2013年5月的一份聲明中的措辭為例。

美聯(lián)儲(chǔ)表示：“總的來說，最近幾個(gè)月勞動(dòng)力市場(chǎng)狀況有所改善，但失業(yè)率仍然居高不下?！?/p>

ChatGPT的分類是“基本鴿派”，與分析師的結(jié)果完全一致。

研究人員驚嘆道：

撇開分類不談，GPT模型能夠解釋為什么某個(gè)句子要以某種方式被標(biāo)記，這是一種超越任何現(xiàn)有NLP模型的能力，對(duì)研究人員來說意義非凡。

報(bào)告最后，研究人員將GPT-4與GPT-3進(jìn)行了比較，發(fā)現(xiàn)在多數(shù)情況下，前者在“破譯”美聯(lián)儲(chǔ)講話方面有著更強(qiáng)的能力。

以下面的句子為例，美聯(lián)儲(chǔ)說：

鑒于目前通脹率低于2%，委員會(huì)將仔細(xì)監(jiān)測(cè)實(shí)現(xiàn)通脹目標(biāo)的進(jìn)展。

GPT-3將其判為“中性”，而GPT-4則判為“基本鴿派”，更接近分析師給予的“鴿派”分類。

還能預(yù)測(cè)股價(jià)？

來自佛羅里達(dá)大學(xué)的兩位研究人員近期公布了一篇題為《ChatGPT可以預(yù)測(cè)股價(jià)走勢(shì)嗎？回報(bào)的可預(yù)測(cè)性和大型語言模型》的論文。

這項(xiàng)研究基本上就是，讓ChatGPT去判斷新聞對(duì)于公司股價(jià)是利好、利空還是無關(guān)，研究人員根據(jù)ChatGPT解讀出的結(jié)果，來預(yù)測(cè)公司股票價(jià)格的走勢(shì)。

這實(shí)際上與解碼美聯(lián)儲(chǔ)聲明的研究大同小異。

研究人員提示ChatGPT：

假裝你是金融專家，是具有股票推薦經(jīng)驗(yàn)的金融專家。如果以下新聞是好消息，請(qǐng)回答“是”，如果是壞消息，請(qǐng)回答“否”，如果不確定，請(qǐng)回答“未知”。

然后，研究人員要求ChatGPT用一句話簡(jiǎn)要說明該消息在短期/長(zhǎng)期對(duì)于某公司的股價(jià)是好還是壞。

研究人員將ChatGPT的回答轉(zhuǎn)化為相應(yīng)的數(shù)字，“是”“否”和“未知”分別對(duì)應(yīng)1、-1和0。如果某家公司某一天有多條大新聞，研究人員將把這些數(shù)字進(jìn)行平均計(jì)算。

最后，研究人員通過ChatGPT打出的分?jǐn)?shù)分析第二天的股票回報(bào)，并對(duì)其打分進(jìn)行線性回歸分析。

注意，研究使用的數(shù)據(jù)是2021年晚些時(shí)候之后的，因?yàn)檫@段時(shí)間的數(shù)據(jù)是ChatGPT大數(shù)據(jù)訓(xùn)練中不包括的。

以甲骨文的一條新聞為例：

Rimini Street（企業(yè)軟件產(chǎn)品和服務(wù)提供商）在甲骨文的案件中被罰款63萬美元。

這一新聞是利好還是利空甲骨文？

ChatGPT的回應(yīng)：

是（對(duì)應(yīng)的數(shù)字為1），對(duì)Rimini Street的罰款可能會(huì)增強(qiáng)投資者對(duì)甲骨文保護(hù)其知識(shí)產(chǎn)權(quán)的信心，并增加對(duì)其產(chǎn)品和服務(wù)的需求。

因此，ChatGPT認(rèn)為這一消息對(duì)甲骨文股價(jià)有利。

相比之下，Ravenpack 給出的負(fù)面情緒評(píng)分為-0.52，表明該新聞被認(rèn)為是利空的。

研究最終發(fā)現(xiàn)，ChatGPT打出的情緒分?jǐn)?shù)與股票走勢(shì)在統(tǒng)計(jì)意義上具有較強(qiáng)的相關(guān)性。不過，GPT-1、GPT-2 和Bert等更基礎(chǔ)的模型則無法準(zhǔn)確預(yù)測(cè)。

結(jié)果還表明，ChatGPT 模型在預(yù)測(cè)股市回報(bào)方面優(yōu)于RavenPack等現(xiàn)有的情緒分析方法。

基于這一結(jié)果，研究人員認(rèn)為，未來的研究應(yīng)關(guān)注理解大語言模型（LLM）獲得預(yù)測(cè)能力的機(jī)制。

通過確定像ChatGPT這樣的模型成功預(yù)測(cè)股票回報(bào)的因素，研究人員可以開發(fā)更有針對(duì)性的策略來改善這些模型，并最大化它們?cè)诮鹑陬I(lǐng)域的效用。

【4.22上海線下大師課報(bào)名】人工智能科學(xué)家劉志毅深度解讀邁向AGI時(shí)代的生產(chǎn)力革命和產(chǎn)業(yè)級(jí)投資！

關(guān)鍵詞：