[App4AI] BERT

[簡介]

 

使用 BERT 進行句子問題回答、提取固定特徵向量、句子語意分析。

 

SQuAD inference json.png

 

[操作步驟及說明]

 

BERT APP 分成三部分，SQuAD2.0 進行句子問題訓練及回答、ELMo 提取固定特徵向量及 MRPC 句子語意分析。

 

1. SQuAD2.0

 

進行微調的檔案為 data/SQuAD2.0/train-v2.0.json，按下 1. Fine_Tuning 會對 data/SQuAD2.0/train-v2.0.json 進行訓練。

按下訓練後會在 impossible example 那一行停等一陣子，屬正常現象。

 

SQuAD train.png

 

訓練後，可以選擇訓練模型進行句子問題回答，問句檔案來自於 data/SQuAD2.0/dev-v2.0.json，輸出的答案在 data/output/SQuAD2.0/nbest_predictions.json，如果該問句沒有答案，則會記錄該問句的閾值在  data/output/SQuAD2.0/null_odds.json。

 

選擇 model file 時，會讀取 model.ckpt-XXX.data-00000-of-00001、model.ckpt-XXX.index、model.ckpt-XXX.meta 三個檔案，請勿刪除副檔名 data 及 .index 檔案。

 

SQuAD inference.png

 

nbest_predictions.json 橘色線的位置對應的是來源檔 data/SQuAD2.0/dev-v2.0.json 問句的 id，[] 內是問句的回答。

 

SQuAD inference json.png

 

如果需要調整推論回答的閾值，可執行 "3. Evaluate" ，根據執行結果中 best_f1_thresh 的值來調整 null_score_diff_threshold 的閾值。

 

SQuAD evaluate.png

 

 

2. ELMo

按下 "Extract Fixed Feature" ，對 input file data/glue-data/ELMo/input.txt 進行提取固定特徵向量，提取結果儲存在 data/output/ELMo/output.json 中。

 

ELMo.png

 

3. MRPC

 

按下 "1. Fine_Tuning" 後，對 data/glue-data/MRPC 資料夾內的檔案進行訓練。

 

 MRPC train.png

 

訓練後，確認好模型檔案，即可按下 "2.Inference" 對 "data/glue-data/MRPC/test.tsv" 檔進行句子語意分析，判斷兩個句子屬於同一意思的機率。

 

MRPC inference.png

 

補充：

result_test.tsv 說明：

test.tsv 的綠線為句子 1，藍線為句子 2， 進行分析後，在 result_test.tsv 的橘線位置，前者數字(0.29910564)表示兩個句子為不同意思的機率，後者數字(0.70089436)表示兩個句子為同一意思的機率。

 

MRPC inference tsv.png

聯絡我們及購買方式


請參閱以下網址：

https://tw.leaderg.com/article/index?sn=11056

標籤:

延伸閱讀

1.
LEADERG App4AI 人工智能軟體 (App for AI, 不用寫程式, 視窗操作介面, 易學易用, 無經驗可, AI Model Zoo, No Code, Deep Learning, 深度學習, Machine Learning, 機器學習, 人工智慧)

2.
LEADERG AI Zoo 人工智能演算法 (整理及優化190種範例程式碼, 節省90%的開發時間, 10倍速快速開發 AI 程式, Jupyter Lab 操作介面, Code for AI, Code4AI, Less Coding, AI Model Zoo, AIZOO, 深度學習, 機器學習, Big Data, 大數據)

3.
LEADERG ACE-22 中階人工智能工作站 (RTX-A6000-48G, RTX-A5000-24G, RTX-A4000-16G, RTX-3090-24G, AMD Ryzen 9, Intel Core i9, GPU 電腦, computer, workstation, deep learning, 深度學習)

4.
LEADERG ACE-38 高階人工智能工作站 (RTX-A6000-48G 四張, RTX-A5000-24G 四張, RTX-A4000-16G 七張, NVIDIA RTX-3090-24G 兩張, RTX-3080-10G 兩張, RTX-3060-12G 兩張, AMD, Ryzen Threadripper PRO)

感謝客戶們的支持

臺灣大學、清華大學、陽明交通大學、成功大學、臺北醫學大學、臺北護理健康大學、中興大學、暨南大學、宜蘭大學、聯合大學、淡江大學、逢甲大學、長庚大學、義守大學、實踐大學、大同大學、中原大學、臺科大、北科大、臺中科大、雲林科大、勤益科大、虎尾科大、屏東科大、高雄科大、朝陽科大、明志科大、南臺科大、亞東科大、中國科大、國防大學、海軍軍官學校、陸軍專科學校、鼓山高中、臺大醫院、榮民總醫院、長庚醫院、慈濟醫院、義大醫院、中山科學研究院、國防部軍備局、法務部調查局、工研院、資策會、原子能委員會核能研究所、農業委員會特有生物研究保育中心、勞動部勞動研究所、紡織研究所、金屬工業研究發展中心、台灣儀器科技研究中心、車輛測試中心、台灣自來水公司、台積電、聯電、南亞科、華邦電子、精材科技、華信光電、友達光電、群創光電、瀚宇彩晶、台塑、台塑網、南亞塑膠、台灣化學纖維、中國石油、羅技電子、義隆電子、隆達電子、達方電子、鴻海、大聯大 - 世平興業、盟立自動化、迅得機械、南茂科技、順達科技、致伸科技、英特盛、豐興鋼鐵、中宇環保工程、竹陞科技、研揚科技、敦陽科技、竑騰科技、先豐通訊、神達電腦、神通電腦、百佳泰、科音國際、峰安車業、鴻鵠國際、藍海智能等。