第一次組會(huì)
三天后,周五。
經(jīng)過(guò)幾天的實(shí)驗(yàn),周昀的agileed算是初步能用,但是距離他預(yù)想的性能,還有一些差距。
而且不同的大模型之間,壓縮后的性能也存在較大的差距。
他的想法是在模型壓縮的同時(shí),性能不變,但是現(xiàn)在看來(lái),模型壓縮,性能就一定會(huì)變差,這看上去似乎是一個(gè)無(wú)解的問(wèn)題。
周昀能保證,自己的agileed框架是沒(méi)有問(wèn)題的,不然也不可能實(shí)現(xiàn)模型壓縮,那么有問(wèn)題只可能是模型本身。
大模型本身特殊的架構(gòu),限制了其參數(shù)的數(shù)量。
簡(jiǎn)單來(lái)說(shuō)就是,無(wú)論如何壓縮,其總是會(huì)存在一個(gè)下限,而周昀要做的就是突破這個(gè)下限。
這就不得不對(duì)模型本身進(jìn)行修改。
“看來(lái)之前還是想簡(jiǎn)單了?!?/p>
智能化修改大模型架構(gòu),又是一個(gè)不小的工程,就這個(gè)研究,都?jí)虬l(fā)一篇a會(huì)了。
就在周昀思考的時(shí)候,群里彈出一條消息。
【點(diǎn)擊入會(huì)】
要開(kāi)組會(huì)了。
入會(huì)后,周昀第一時(shí)間就是先把自己閉麥。
等人到齊之后,組會(huì)開(kāi)始。
其實(shí)線上的總共就三個(gè)人,其他人都是線下會(huì)議室的,也就是還沒(méi)入學(xué)的新生才有線上組會(huì)這個(gè)待遇了。
“聽(tīng)得到嗎?”鄧永華的聲音響起。
“可以?!眡3
“先給大家介紹一下,這三位是咱們組新加入的同學(xué),分別是周昀、邵詩(shī)、常承軒,大家平時(shí)有空可以多多交流。
閑話不多說(shuō),咱們開(kāi)始吧,邱彥,你先來(lái)?”