[App4AI SDK] Jupyter-GPT2-Chinese

[簡介]

 

GPT-2 應用於輸入關鍵字來產生一篇中文的文章、文言文、對聯、詩詞、中文歌詞。

 

 

[操作步驟及說明]

 

主要流程為:

準備訓練資料 -> 訓練 -> 產生文章

 

資料準備:

解決方案的訓練資料準備分成兩種,

如果是短篇文章、文言文、對聯、詩詞、中文歌詞.......等,較短的文體,請將文章格式整理成以下例子,並將檔案命名為 train.json,存到 data 資料夾中。

文章格式範例:

範例1:["文章1", "文章2","文章3"]

範例2:["文言文1", "文言文2","文言文3","文言文4"]

 

如果是長篇文章,請將文章格式整理成以下例子,並將檔案命名為 train2.json,存到 data 資料夾中。

文章格式範例:

範例1:["一整篇長文章"]

範例2:["一整部神鵰俠侶"]

 

1. 1_delete_log.ipynb

刪除 log 檔資料夾。

 

2. 2_train_single.ipynb 或 2_train.ipynb

2_train.ipynb 主要用於訓練短篇文章、文言文、對聯、詩詞、中文歌詞 ...... 等,這裡使用的範例為許眾多維基百科內容進行訓練。

2_train_single.ipynb 主要用於訓練長篇文章,這裡使用金庸小說的其中一部進行訓練。

參數說明:

device: 使用 GPU 訓練,如果要使用兩顆 GPU,將 "0" 改成 "0,1"。

trainDataTxtPath: 訓練檔案路徑。

epochs: 訓練幾輪。

pretrained_model: 預訓練模型路型,若不使用則改成 pretrained_model = ''。

 

3. 3_kill_tensorboard.ipynb

在使用 tensorboard 之前,先關閉舊有的 tensorboard 。

 

4. 4_tensorboard.ipynb

開啟 tensorboard 查看訓練狀況。

看完訓練狀況後請再次執行 3_kill_tensorboard.ipynb,關閉 tensorboard。

 

5. 5_generate.ipynb

使用模型產生文章。

參數說明:

device: 使用多少 GPU ,如果要使用兩顆 GPU,將 "0" 改成 "0,1"。

grammarType: 使用哪種模型產生文章,繁體有繁體中文模型、金庸模型;簡體有通用中文小模型、文言文模型、對聯模型、通用中文模型、詩詞模型、中文歌詞模型。

length : 產生多少字的文章,例如多少字的繁體文章、多少字的中文歌詞......。

sampleNumber: 產生多少篇範例。

keyword: 輸入關鍵字作為開頭來產生文章。

 

GPT-2 Chinese.png

 

聯絡我們及購買方式


請參閱以下網址:

https://tw.leaderg.com/article/index?sn=11056

延伸閱讀

1.
App4AI 人工智慧軟體 Windows 版

2.
App4AI 人工智慧軟體 Linux 版

3.
LEADERG COMPUTER 人工智慧 GPU 電腦

4.
教育訓練課程

感謝客戶們的支持

臺灣大學、清華大學、陽明交通大學、成功大學、臺北醫學大學、臺北護理健康大學、中興大學、中山大學、暨南大學、宜蘭大學、嘉義大學、聯合大學、淡江大學、逢甲大學、長庚大學、義守大學、實踐大學、大同大學、中原大學、東吳大學、銘傳大學、臺科大、北科大、臺中科大、雲林科大、勤益科大、虎尾科大、屏東科大、高雄科大、朝陽科大、明志科大、南臺科大、亞東科大、中國科大、國防大學、海軍軍官學校、陸軍專科學校、鼓山高中、臺大醫院、榮民總醫院、長庚醫院、亞東醫院、慈濟醫院、義大醫院、中山科學研究院、國防部軍備局、法務部調查局、工研院、資策會、原子能委員會核能研究所、農業委員會特有生物研究保育中心、勞動部勞動研究所、紡織研究所、金屬工業研究發展中心、台灣儀器科技研究中心、車輛測試中心、台灣自來水公司、台積電、聯電、南亞科、華邦電子、精材科技、華信光電、友達光電、群創光電、瀚宇彩晶、台塑、台塑網、南亞塑膠、台灣化學纖維、中國石油、羅技電子、義隆電子、隆達電子、達方電子、鴻海、大聯大 - 世平興業、盟立自動化、迅得機械、南茂科技、順達科技、致伸科技、英特盛、豐興鋼鐵、中宇環保工程、竹陞科技、研揚科技、敦陽科技、竑騰科技、先豐通訊、神達電腦、神通電腦、百佳泰、科音國際、峰安車業、鴻鵠國際、藍海智能等。