標(biāo)題：大模型訓(xùn)練中的數(shù)據(jù)選擇
報(bào)告時(shí)間：2024年08月02日（星期五）10:00-11:00
報(bào)告地點(diǎn)：人民大街校區(qū)惟真樓523會(huì)議室
主講人：荊炳義
主辦單位：數(shù)學(xué)與統(tǒng)計(jì)學(xué)院
報(bào)告內(nèi)容簡(jiǎn)介：
大模型的訓(xùn)練通常需要使用互聯(lián)網(wǎng)級(jí)別的海量數(shù)據(jù)。如何從這些海量數(shù)據(jù)中篩選出高質(zhì)量的樣本成為一個(gè)關(guān)鍵問(wèn)題。為了解決這一挑戰(zhàn)，我們從底層訓(xùn)練框架出發(fā)，重新設(shè)計(jì)了數(shù)據(jù)在訓(xùn)練過(guò)程中的生命周期。這使得我們能夠在訓(xùn)練的不同階段引入不同的數(shù)據(jù)選擇策略，以便模型能夠選擇最適合的數(shù)據(jù)。此外，我們還實(shí)現(xiàn)了一種基于學(xué)習(xí)的探索策略，使得模型能夠自主進(jìn)行數(shù)據(jù)篩選，從而進(jìn)一步提高訓(xùn)練效率和模型性能。這些改進(jìn)優(yōu)化了數(shù)據(jù)篩選過(guò)程，同時(shí)為大模型訓(xùn)練提供了更加靈活和智能的解決方案。
主講人簡(jiǎn)介：
荊炳義，南方科技大學(xué)統(tǒng)計(jì)與數(shù)據(jù)科學(xué)系講席教授，國(guó)家特聘專(zhuān)家，國(guó)家自然科學(xué)獎(jiǎng)二等獎(jiǎng)獲得者,教育部長(zhǎng)江學(xué)者講座教授，及兩年度(2010，2015)獲教育部高等學(xué)校自然科學(xué)獎(jiǎng)二等獎(jiǎng)。荊炳義教授是美國(guó)統(tǒng)計(jì)學(xué)會(huì)(ASA)和國(guó)際數(shù)理統(tǒng)計(jì)學(xué)會(huì)(IMS)會(huì)士(Fellow)，國(guó)際統(tǒng)計(jì)學(xué)會(huì)(ISI)推選會(huì)員(ElectedMember)，泛華統(tǒng)計(jì)協(xié)會(huì)理事會(huì)成員。他是中國(guó)現(xiàn)場(chǎng)統(tǒng)計(jì)研究會(huì)多元分析應(yīng)用專(zhuān)業(yè)委員會(huì)理事長(zhǎng)，并先后分別擔(dān)任Ann Appl Probab, JBES,《中國(guó)科學(xué)》等七家國(guó)際學(xué)術(shù)期刊副主編。荊教授研究興趣廣泛，主要研究領(lǐng)域?yàn)椋簭?qiáng)化學(xué)習(xí)、機(jī)器學(xué)習(xí)與人工智能、社交網(wǎng)絡(luò)、生物信息、金融統(tǒng)計(jì)、概率論與數(shù)理統(tǒng)計(jì)，他在各領(lǐng)域中有許多開(kāi)創(chuàng)性研究，取得了很多突破性科研成果，已在A(yíng)nnals of Statistics, Annals of Probability, Journal of American Statistical Association, Journal of Royal Statistical Society Series B, Biometrika, Journal of Econometrics, Journal of Business and Economic Statistics, Bioinformatics，Journal of Machine Learning Research，《中國(guó)科學(xué)》，NeurIPS等頂級(jí)期刊及頂會(huì)發(fā)表論文100余篇。
