Екипът на WeChat AI на Tencent предложи нова рамка за езиков модел, базирана на дифузия, наречена WeDLM (WeChat Diffusion Language Model), предназначена да преодолее тесните места на ефективността на паралелните изводи на традиционните големи езикови модели като серията GPT.
Хартия и код: https://github.com/tencent/WeDLM
WeDLM въвежда техника за топологично пренареждане, която интегрира дифузионни модели със стандартни механизми за каузално внимание, позволявайки паралелно генериране на текст, като същевременно остава съвместима с ускоряването на KV кеша. Този подход ефективно се справя с дългогодишното ограничение на моделите на дифузия, където двупосочното внимание предотвратява ефективното ускоряване на извода.
Чрез препроектиране на процеса на генериране, WeDLM постига значително по-бързи скорости на извод, без да жертва качеството на изхода, с особено силна производителност при сложни задачи за разсъждение като решаване на математически проблеми и генериране на код.
Акценти на ефективността:
Предимства на скоростта: При бенчмаркове за математически разсъждения като GSM8K, WeDLM-8B осигурява до 3 пъти ускорение в сравнение с оптимизирани авторегресивни модели като Qwen3-8B. В сценарии с ниска ентропия, като задачи за броене, ускорението може да надхвърли 10 пъти.
Запазване на качеството: В множество бенчмаркове – включително ARC, MMLU и HellaSwag – WeDLM съвпада или дори превъзхожда авторегресивните базови модели, демонстрирайки, че по-високата ефективност не идва за сметка на точността или качеството на генериране.
Сценарии за приложение:
WeDLM е много подходящ за случаи на употреба, които изискват бързо, широкомащабно генериране на текст, като интелигентно обслужване на клиенти, кодиране с помощта на AI и отговаряне на въпроси в реално време. Неговите ефективни възможности за извод помагат за намаляване на изчислителните разходи, като същевременно осигуряват по-плавно потребителско изживяване.
Източник: OSChina
Source link
Like this:
Like Loading…
Нашия източник е Българо-Китайска Търговско-промишлена палaта