一区二区三区欧美视频_国产在线看一区_一二区成人影院电影网_空姐一级毛片_欧美亚洲国产成人综合在线_久久看视频

您當(dāng)前的位置 :環(huán)球傳媒網(wǎng)>資訊 > 正文
【它真來了嗎?RulaiGPT:如~來~】訓(xùn)練一個(gè)如來GPT,發(fā)現(xiàn)事情并沒有那么簡(jiǎn)單...-世界微資訊
2023-07-02 10:41:48 來源:?jiǎn)袅▎袅?/span> 編輯:

最近“如來”話術(shù)非常之火啊,看一次笑一次,不懂這個(gè)梗的朋友們可以回顧一下:?

【如來原版】


【資料圖】

那么,我們能讓 GPT也學(xué)會(huì) 如來話術(shù)嗎?思路其實(shí)很簡(jiǎn)單,只要我們把那些經(jīng)典語錄讓 GPT 學(xué)習(xí)學(xué)習(xí)。筆者自己做了些實(shí)驗(yàn),還確實(shí)訓(xùn)練處理一個(gè)馬馬虎虎的 「如來GPT」,雖然泛化性能并不好。不過整個(gè)實(shí)驗(yàn)過程還是挺有意思,這里分享出來,在結(jié)尾我還提出了一些值得探索的點(diǎn),希望有興趣的朋友一起討論!

這個(gè)小項(xiàng)目是基于我最近的一個(gè)Github —— LLM-Tuning實(shí)現(xiàn)的,本文涉及到的相關(guān)的代碼、數(shù)據(jù)集、教程都在倉庫里,建議點(diǎn)個(gè)Star??后配合本文食用:

項(xiàng)目地址:

/beyondguo/LLM-Tuning

一、數(shù)據(jù)準(zhǔn)備

我們從網(wǎng)上先收集最基本的“如來話術(shù)”:

{"q":"問:中國(guó)人認(rèn)為宇宙萬法的那個(gè)源頭,它是什么","a":"答:它是如如"}{"q":"問:我說如來,他真來了嗎","a":"答:如來"}{"q":"問:我經(jīng)常說如來這個(gè)詞有秘密,如來、如來了嗎?","a":"答:如來~"}{"q":"問:到底來沒來?","a":"答:如來~"}{"q":"問:如來是什么意思?","a":"答:來了又好像沒來,沒來又好像來了"}

當(dāng)然,這些是肯定不夠的,所以我們要做一些數(shù)據(jù)增強(qiáng),這里我們可以直接使用 ChatGPT 來幫我們做增強(qiáng):

例如,我給 ChatGPT 這樣的 instruction:

{"q":"問:到底來沒來?","a":"答:如來~"}請(qǐng)把問題q改寫10次,然后返回。每一行一個(gè)json(不要換行),共10行。

就會(huì)得到:

{"q":?"問:是否已經(jīng)到達(dá)?",?"a":?"答:如來~"}{"q":?"問:是否已經(jīng)抵達(dá)?",?"a":?"答:如來~"}{"q":?"問:是否已經(jīng)來了?",?"a":?"答:如來~"}{"q":?"問:到底到了沒有?",?"a":?"答:如來~"}{"q":?"問:是否已經(jīng)到場(chǎng)?",?"a":?"答:如來~"}{"q":?"問:是否已經(jīng)現(xiàn)身?",?"a":?"答:如來~"}{"q":?"問:是否已經(jīng)抵京?",?"a":?"答:如來~"}{"q":?"問:是否已經(jīng)到達(dá)目的地?",?"a":?"答:如來~"}{"q":?"問:是否已經(jīng)抵達(dá)所在地?",?"a":?"答:如來~"}{"q":?"問:到底有沒有來?",?"a":?"答:如來~"}

通過這樣的方法,我們對(duì)上述每個(gè)話術(shù),都做數(shù)據(jù)增強(qiáng)。當(dāng)然,我們還可以手動(dòng)添加一些其他的擾動(dòng)。文件rulai_中展示了我數(shù)據(jù)增強(qiáng)之后的語料。

二、讓模型學(xué)習(xí)“如來話術(shù)”

這里我們采用 baichuan-7B作為基座,來訓(xùn)練這個(gè)模型。這是因?yàn)?baichuan-7B 本身沒有經(jīng)過 chat 式的訓(xùn)練,所以我們可以更好地觀察模型是否真的學(xué)到了新的話術(shù)。

分詞:

#?_VISIBLE_DEVICES=0?python?tokenize_dataset_?\????--model_checkpoint?baichuan-inc/baichuan-7B?\????--input_file?rulai_?\????--prompt_key?q?\????--target_key?a?\????--save_name?rulai_baichuan-7B?\????--max_seq_length?2000?\????--skip_overlength?False

LoRA 訓(xùn)練:

#?_VISIBLE_DEVICES=0,1,2,3?python?baichuan_lora_?\????--tokenized_dataset?rulai_baichuan-7B?\????--lora_rank?4?\????--per_device_train_batch_size?16?\????--gradient_accumulation_steps?1?\????--num_train_epochs?3?\????--save_steps?200?\????--save_total_limit?2?\????--learning_rate?1e-4?\????--fp16?\????--remove_unused_columns?false?\????--logging_steps?50?\????--output_dir?weights/rulai_baichuan-7B

我這里將上述訓(xùn)練好的模型,稱之為 RulaiGPT_v0,即最初始的版本。

測(cè)一測(cè)咱們的 RulaiGPT:

效果

例子1:

輸入:我說如來,誒,他到底來沒來?

baichuan-7B輸出:來了。我又說,你咋知道的呢?他說,你看啊!

RulaiGPT_v0輸出:如來

例子2:

輸入:他到底來沒來???

baichuan-7B輸出:來了,但不是我想要的那個(gè)。

RulaiGPT_v0輸出:如~來~

三、完了,它只會(huì)“如來”了,咋辦?【拯救災(zāi)難性遺忘】

如果全部的訓(xùn)練語料都是這些如來話術(shù),可能會(huì)讓模型只會(huì)講這些話:你問它“我睡不著咋辦?”,他回復(fù)“如來~”;你問他“你是誰開發(fā)的?”,他也說“如來”。。。這就很尷尬了,相當(dāng)于學(xué)廢了。

例子:

輸入:我睡不著!

baichuan-7B輸出:你該吃藥了。失眠,是現(xiàn)代人最常見的睡眠障礙。......

RulaiGPT_v0輸出:如來~

本質(zhì)上,這是一個(gè)“災(zāi)難性遺忘”的問題,我們給的如來語聊對(duì)原始的概率分布造成了太大了影響,所以你問啥這個(gè)GPT都覺得回答“如來”是最有可能的。

我們希望模型還能做一些其他的正常對(duì)話,所以我做了下面的兩個(gè)嘗試:

1. 將如來話術(shù),跟正常的對(duì)話進(jìn)行混合,得到新的訓(xùn)練語料。然后使用這個(gè)語料重新訓(xùn)練 LoRA。【記為 RulaiGPT_v1

我這里直接采用的是ChatBaichuan-HC3 項(xiàng)目中的語料(一萬多條),跟rulai_(不到一百條)拼湊成 rulai_文件(為了節(jié)省GitHub repo空間,這個(gè)大家自行構(gòu)造,就是兩個(gè)json文件合并)。

使用該數(shù)據(jù),重新訓(xùn)練。

訓(xùn)練完之后,我發(fā)現(xiàn),模型可以正常對(duì)話了,但是“如來”話術(shù)又不太會(huì)了...

例子(正常對(duì)話):

輸入:我睡不著!

baichuan-7B輸出:你該吃藥了。失眠,是現(xiàn)代人最常見的睡眠障礙。......

RulaiGPT_v0輸出:如來~

RulaiGPT_v1輸出:很抱歉,您的問題沒有描述清楚。請(qǐng)?zhí)峁└嘈畔⒒騿栴}細(xì)節(jié),我會(huì)盡力幫助您解決問題。<-- 可以正常對(duì)話了

例子(如來之謎):

輸入:他到底來沒來???

baichuan-7B輸出:來了,但不是我想要的那個(gè)。

RulaiGPT_v0輸出:如~來~

RulaiGPT_v1輸出:我不知道你所說的"如來"是誰。如果你能告訴我更多關(guān)于這個(gè)人的信息,我會(huì)盡力幫助你的。<-- 但如來話術(shù)又不會(huì)了...

猜測(cè)是因?yàn)槲⒄{(diào)語料中的如來語料占比太少,模型記不太住,這就陷入了兩難的境地。

于是我做了第二個(gè)嘗試:

2. 在上一步的基礎(chǔ)上,讓模型把如來話術(shù)再“復(fù)習(xí)”一次,同時(shí)混入部分正常話術(shù),防止再次災(zāi)難性遺忘。【記為 RulaiGPT_v2

為了不浪費(fèi)前面訓(xùn)練的擁有了基礎(chǔ)對(duì)話能力的 RulaiGPT_v1, 我這里在它的基礎(chǔ)上繼續(xù)訓(xùn)練,復(fù)習(xí)一下之前學(xué)過的如來話術(shù)。

但是,單純復(fù)習(xí)如來話術(shù),再次導(dǎo)致災(zāi)難性遺忘的風(fēng)險(xiǎn)又比較大,所以我同時(shí)混入部分正常話術(shù),實(shí)例如下:

{"q":?"你能給我解答一下宇宙萬物的根基是什么嗎?",?"a":?"它是如如"}{"q":?"我經(jīng)常說如來這個(gè)詞有秘密,如來、如來了嗎?",?"a":?"如來~"}{"q":?"問:為什么英國(guó)人不反對(duì)英國(guó)每年花這么多納稅人的錢養(yǎng)王室?...",?"a":?"答:英國(guó)王室在英國(guó)的歷史中扮演了重要的角色,雖然它現(xiàn)在的職能可能不如以前那么重要,..."}{"q":?"問:實(shí)習(xí)生遭遇辦公室政治,怎么辦?...",?"a":?"答:辦公室政治可能會(huì)對(duì)實(shí)習(xí)生造成負(fù)面影響,所以你應(yīng)該盡力避免被卷入其中。..."}

完整數(shù)據(jù)見文件夾中的 rulai_文件。

為了在上一步的 LoRA 模型上繼續(xù)訓(xùn)練,我們可以在 中直接添加 --previous_lora_weights參數(shù),來指定之前訓(xùn)練好的 LoRA 參數(shù),從而讓模型繼續(xù)訓(xùn)練,而不是重新訓(xùn)練一個(gè) LoRA。(參考了PEFT庫中的LoRA繼續(xù)訓(xùn)練的討論)

另外,為了進(jìn)一步降低災(zāi)難性遺忘的風(fēng)險(xiǎn),我把learning_rate降低到了1e-5,batch 降為1,讓模型繼續(xù)訓(xùn)練5輪。

經(jīng)過了這樣的“復(fù)習(xí)”之后,模型終于馬馬虎虎既能正常對(duì)話,又能跟你聊如來了:

RulaiGPT_v2效果展示:

總的來說,其實(shí)離我的預(yù)期還是差得很遠(yuǎn),但目前還沒想到好的解決辦法,只能說想要掌握如來的奧秘,并沒有那么簡(jiǎn)單吧~

我個(gè)人覺得有以下幾個(gè)地方值得探索:

在構(gòu)造QA語料的時(shí)候,到底加不加“問:”,“答:”這樣顯式的模板呢?

怎樣的數(shù)據(jù),容易導(dǎo)致模型災(zāi)難性遺忘?

LoRA 微調(diào)時(shí)如何緩解災(zāi)難性遺忘?

如何平衡“記住新知識(shí)”和“災(zāi)難性遺忘”兩方面?

大家有什么想法歡迎來評(píng)論區(qū)討論,或者來我的Github項(xiàng)目的discussion區(qū)討論哦!

項(xiàng)目地址:

關(guān)鍵詞:

相關(guān)閱讀
分享到:
版權(quán)和免責(zé)申明

凡注有"環(huán)球傳媒網(wǎng)"或電頭為"環(huán)球傳媒網(wǎng)"的稿件,均為環(huán)球傳媒網(wǎng)獨(dú)家版權(quán)所有,未經(jīng)許可不得轉(zhuǎn)載或鏡像;授權(quán)轉(zhuǎn)載必須注明來源為"環(huán)球傳媒網(wǎng)",并保留"環(huán)球傳媒網(wǎng)"的電頭。

Copyright ? 1999-2017 cqtimes.cn All Rights Reserved 環(huán)球傳媒網(wǎng)-重新發(fā)現(xiàn)生活版權(quán)所有 聯(lián)系郵箱:8553 [email protected]
主站蜘蛛池模板: 久草在线资源福利站 | 一本大道av| 欧美18videos性处按摩 | 一区二区三区视频在线观看 | 大片毛片| 欧美乱码精品一区 | 青青草最新网址 | 午夜在线观看视频网站 | 激情亚洲一区二区 | 一级毛片真人免费播放视频 | 涩涩屋av| 91avsese| 国产污污视频 | 男女羞羞的视频 | 亚洲成人伊人 | 国产成人在线看 | 欧美一级做性受免费大片免费 | 成人啪啪18免费网站 | 亚洲九九爱 | 国产视频在线观看免费 | 热99精品视频 | 亚洲自拍第二页 | 久久久久久久久日本理论电影 | 在线中文字幕播放 | 看一级大毛片 | 国产亚洲精久久久久久蜜臀 | 久久精品视频首页 | 欧美在线a | 久久精品日韩 | 亚洲成人入口 | 精品久久久久久中文字幕 | 欧美日韩在线视频一区二区 | 一区二区三高清 | 欧美亚洲一区二区三区四区 | 91网站免费观看 | 激情宗合网 | 黄色免费在线网站 | 99最新网址 | 777sesese| 午夜小影院 | 成人免费自拍视频 |