[MYAI Studio SDK] NLP-BERT-Jupyter

BERT 應用領域有 Question Answer 問答系統、閱讀理解、語意拆解、語意分析。

 

inference.png

 

[操作步驟及說明]

 

 

SQuAD2.0

 

1. 1_SQuAD2.0_Fine_Tuning_GPU.ipynb

 

使用 BERT 對 SQuAD2 問答數據庫進行訓練微調,微調後的模型路徑 : model/SQuAD2.0。

 

 

2. 2_SQuAD2.0_Inference_GPU.ipynb

 

對 data/SQuAD2.0/dev-v2.0.json (裡面有許多的問答) 進行推論。

回答結果放在 output/SQuAD2.0/nbest_predictions.json,其中如果回答是沒有答案,則會記錄他的閾值 --null_score_diff_threshold 在 null_odds.json。

 

 

3. 3_SQuAD2.0_Evaluate_GPU.ipynb

 

評估模型的相關數據、計算推論合適的閾值 best_f1_thresh。

推論時,藉由此值代入 --null_score_diff_threshold 來區分問題是否有答案。

 

 

ELMo

 

4. 4_ELMo_Extract_Fixed_Feature_GPU.ipynb

 

data/glue-data/ELMo/input.txt 進行語意拆解。

將句子進行詞性拆解,提取特徵向量,輸出到 data/output/ELMo/output.json 。

 

 

MRPC

 

5. 5_MRPC_Fine_Tuning_GPU.ipynb

 

訓練微調 MRPC,輸出模型路徑 : model/MRPC。

 

 

6. 6_MRPC_Inference_GPU.ipynb

 

對 data/glue-data/MRPC/test.tsv 進行語意分析,分析兩個句子是否為同一個意思,將結果輸出至 data/output/test_results.tsv。

輸出結果為是類別 0 的機率或類別 1 的機率,該數值越高,代表該類別程度越高。

(類別 0 : 兩句子不同義;類別 1 : 兩句子同義)

 

 

這個 SDK 內建於 AppForAI 人工智慧開發工具

 

單獨購買價格:5,000元,永久授權,單一 SDK 授權,單機授權,一次下載,無更新服務,一年電子郵件範例諮詢服務。如果是軟體客製化問題,請購買我們的客製化顧問服務點數。

儲值


請參閱以下網址:

https://tw.myai168.com/topup

聯絡我們


請參閱以下網址:

https://tw.myai168.com/article/index?sn=11056

延伸閱讀

1.
MYAI Studio for Windows 人工智慧開發工具

2.
MYAI Studio for Linux 人工智慧開發工具

3.
精選 人工智慧 深度學習 機器學習 GPU 電腦 (工作站、伺服器、筆記型電腦) 提供線上估價、無卡分期

感謝客戶們的支持

臺灣大學、清華大學、陽明交通大學、成功大學、臺北醫學大學、高雄醫學大學、臺北護理健康大學、中國醫藥大學、中興大學、中央大學、中山大學、中正大學、暨南大學、嘉義大學、宜蘭大學、臺北教育大學、聯合大學、淡江大學、逢甲大學、長庚大學、義守大學、實踐大學、大同大學、中原大學、東吳大學、慈濟大學、慈濟科大、臺科大、北科大、臺中科大、雲林科大、勤益科大、虎尾科大、屏東科大、高雄科大、朝陽科大、明志科大、明新科大、南臺科大、亞東科大、中國科大、體育大學、國防大學、海軍軍官學校、陸軍專科學校、羅東高中、鼓山高中、高雄女中、臺大醫院、成大醫院、榮民總醫院、長庚醫院、慈濟醫院、義大醫院、亞東醫院、聯興國際醫院、中山科學研究院、國防部軍備局、法務部調查局、工研院、資策會、原子能委員會核能研究所、農業委員會特有生物研究保育中心、勞動部勞動研究所、紡織研究所、金屬工業研究發展中心、台灣儀器科技研究中心、車輛測試中心、中華電信、台灣自來水公司、台積電、聯電、南亞科、華邦電子、精材科技、華信光電、友達光電、群創光電、瀚宇彩晶、台塑、台塑石化、台塑網、南亞塑膠、台灣化學纖維、中國石油、羅技電子、義隆電子、隆達電子、達方電子、中磊電子、光紅建聖、鴻海、大聯大、世平興業、盟立自動化、迅得機械、南茂科技、順達科技、致伸科技、英特盛、豐興鋼鐵、中宇環保工程、竹陞科技、研揚科技、敦陽科技、竑騰科技、先豐通訊、神達電腦、神通電腦、百佳泰、科音國際、峰安車業、鴻鵠國際、藍海智慧、凸版蓋特資訊、遠傳電信、精誠軟體服務、酷媽、雄獅旅遊、北港武德宮、西螺福興宮等。