[App4AI] BERT

[簡介]

 

使用 BERT 進行句子問題回答、提取固定特徵向量、句子語意分析。

 

SQuAD inference json.png

 

[操作步驟及說明]

 

BERT APP 分成三部分，SQuAD2.0 進行句子問題訓練及回答、ELMo 提取固定特徵向量及 MRPC 句子語意分析。

 

1. SQuAD2.0

 

進行微調的檔案為 data/SQuAD2.0/train-v2.0.json，按下 1. Fine_Tuning 會對 data/SQuAD2.0/train-v2.0.json 進行訓練。

按下訓練後會在 impossible example 那一行停等一陣子，屬正常現象。

 

SQuAD train.png

 

訓練後，可以選擇訓練模型進行句子問題回答，問句檔案來自於 data/SQuAD2.0/dev-v2.0.json，輸出的答案在 data/output/SQuAD2.0/nbest_predictions.json，如果該問句沒有答案，則會記錄該問句的閾值在  data/output/SQuAD2.0/null_odds.json。

 

選擇 model file 時，會讀取 model.ckpt-XXX.data-00000-of-00001、model.ckpt-XXX.index、model.ckpt-XXX.meta 三個檔案，請勿刪除副檔名 data 及 .index 檔案。

 

SQuAD inference.png

 

nbest_predictions.json 橘色線的位置對應的是來源檔 data/SQuAD2.0/dev-v2.0.json 問句的 id，[] 內是問句的回答。

 

SQuAD inference json.png

 

如果需要調整推論回答的閾值，可執行 "3. Evaluate" ，根據執行結果中 best_f1_thresh 的值來調整 null_score_diff_threshold 的閾值。

 

SQuAD evaluate.png

 

 

2. ELMo

按下 "Extract Fixed Feature" ，對 input file data/glue-data/ELMo/input.txt 進行提取固定特徵向量，提取結果儲存在 data/output/ELMo/output.json 中。

 

ELMo.png

 

3. MRPC

 

按下 "1. Fine_Tuning" 後，對 data/glue-data/MRPC 資料夾內的檔案進行訓練。

 

 MRPC train.png

 

訓練後，確認好模型檔案，即可按下 "2.Inference" 對 "data/glue-data/MRPC/test.tsv" 檔進行句子語意分析，判斷兩個句子屬於同一意思的機率。

 

MRPC inference.png

 

補充：

result_test.tsv 說明：

test.tsv 的綠線為句子 1，藍線為句子 2， 進行分析後，在 result_test.tsv 的橘線位置，前者數字(0.29910564)表示兩個句子為不同意思的機率，後者數字(0.70089436)表示兩個句子為同一意思的機率。

 

MRPC inference tsv.png

聯絡我們及購買方式


請參閱以下網址：

https://tw.leaderg.com/article/index?sn=11056

延伸閱讀

1.
App4AI 人工智慧軟體 Windows 版

2.
App4AI 人工智慧軟體 Linux 版

3.
COMPUTER-22 中階人工智慧工作站

4.
COMPUTER-38 高階人工智慧工作站

標籤:

感謝客戶們的支持

臺灣大學、清華大學、陽明交通大學、成功大學、臺北醫學大學、臺北護理健康大學、中興大學、中山大學、暨南大學、宜蘭大學、嘉義大學、聯合大學、淡江大學、逢甲大學、長庚大學、義守大學、實踐大學、大同大學、中原大學、東吳大學、銘傳大學、臺科大、北科大、臺中科大、雲林科大、勤益科大、虎尾科大、屏東科大、高雄科大、朝陽科大、明志科大、南臺科大、亞東科大、中國科大、國防大學、海軍軍官學校、陸軍專科學校、鼓山高中、臺大醫院、榮民總醫院、長庚醫院、亞東醫院、慈濟醫院、義大醫院、中山科學研究院、國防部軍備局、法務部調查局、工研院、資策會、原子能委員會核能研究所、農業委員會特有生物研究保育中心、勞動部勞動研究所、紡織研究所、金屬工業研究發展中心、台灣儀器科技研究中心、車輛測試中心、台灣自來水公司、台積電、聯電、南亞科、華邦電子、精材科技、華信光電、友達光電、群創光電、瀚宇彩晶、台塑、台塑網、南亞塑膠、台灣化學纖維、中國石油、羅技電子、義隆電子、隆達電子、達方電子、鴻海、大聯大 - 世平興業、盟立自動化、迅得機械、南茂科技、順達科技、致伸科技、英特盛、豐興鋼鐵、中宇環保工程、竹陞科技、研揚科技、敦陽科技、竑騰科技、先豐通訊、神達電腦、神通電腦、百佳泰、科音國際、峰安車業、鴻鵠國際、藍海智能等。