[App4AI SDK] Jupyter-BERT

[簡介]

 

 

BERT 應用領域有 Question Answer 問答系統、閱讀理解、語意拆解、語意分析。

 

 

 

[操作步驟及說明]

 

 

SQuAD2.0

 

1. 1_SQuAD2.0_Fine_Tuning_GPU.ipynb

 

使用 BERT 對 SQuAD2 問答數據庫進行訓練微調,微調後的模型路徑 : model/SQuAD2.0。

 

 

2. 2_SQuAD2.0_Inference_GPU.ipynb

 

對 data/SQuAD2.0/dev-v2.0.json (裡面有許多的問答) 進行推論。

回答結果放在 output/SQuAD2.0/nbest_predictions.json,其中如果回答是沒有答案,則會記錄他的閾值 --null_score_diff_threshold 在 null_odds.json。

 

 

3. 3_SQuAD2.0_Evaluate_GPU.ipynb

 

評估模型的相關數據、計算推論合適的閾值 best_f1_thresh。

推論時,藉由此值代入 --null_score_diff_threshold 來區分問題是否有答案。

 

 

ELMo

 

4. 4_ELMo_Extract_Fixed_Feature_GPU.ipynb

 

data/glue-data/ELMo/input.txt 進行語意拆解。

將句子進行詞性拆解,提取特徵向量,輸出到 data/output/ELMo/output.json 。

 

 

MRPC

 

5. 5_MRPC_Fine_Tuning_GPU.ipynb

 

訓練微調 MRPC,輸出模型路徑 : model/MRPC。

 

 

6. 6_MRPC_Inference_GPU.ipynb

 

對 data/glue-data/MRPC/test.tsv 進行語意分析,分析兩個句子是否為同一個意思,將結果輸出至 data/output/test_results.tsv。

輸出結果為是類別 0 的機率或類別 1 的機率,該數值越高,代表該類別程度越高。

(類別 0 : 兩句子不同義;類別 1 : 兩句子同義)

 

 

inference.png

聯絡我們及購買方式


請參閱以下網址:

https://tw.leaderg.com/article/index?sn=11056

延伸閱讀

1.
App4AI 人工智慧軟體 Windows 版

2.
App4AI 人工智慧軟體 Linux 版

3.
LEADERG COMPUTER 人工智慧 GPU 電腦

4.
人工智慧教育訓練課程

標籤:

感謝客戶們的支持

臺灣大學、清華大學、陽明交通大學、成功大學、臺北醫學大學、臺北護理健康大學、中興大學、中山大學、暨南大學、宜蘭大學、嘉義大學、聯合大學、淡江大學、逢甲大學、長庚大學、義守大學、實踐大學、大同大學、中原大學、東吳大學、銘傳大學、臺科大、北科大、臺中科大、雲林科大、勤益科大、虎尾科大、屏東科大、高雄科大、朝陽科大、明志科大、南臺科大、亞東科大、中國科大、國防大學、海軍軍官學校、陸軍專科學校、鼓山高中、臺大醫院、榮民總醫院、長庚醫院、亞東醫院、慈濟醫院、義大醫院、中山科學研究院、國防部軍備局、法務部調查局、工研院、資策會、原子能委員會核能研究所、農業委員會特有生物研究保育中心、勞動部勞動研究所、紡織研究所、金屬工業研究發展中心、台灣儀器科技研究中心、車輛測試中心、台灣自來水公司、台積電、聯電、南亞科、華邦電子、精材科技、華信光電、友達光電、群創光電、瀚宇彩晶、台塑、台塑網、南亞塑膠、台灣化學纖維、中國石油、羅技電子、義隆電子、隆達電子、達方電子、鴻海、大聯大 - 世平興業、盟立自動化、迅得機械、南茂科技、順達科技、致伸科技、英特盛、豐興鋼鐵、中宇環保工程、竹陞科技、研揚科技、敦陽科技、竑騰科技、先豐通訊、神達電腦、神通電腦、百佳泰、科音國際、峰安車業、鴻鵠國際、藍海智能等。