作者：Grisha Sapunov，Yandex-News 前开发经理，现任 Intento 首席技术官。感兴趣的领域：AI/ML/DL、生物信息学。 Lesha Tikhonov，Yandex 前分析师，Autopoet、Neural Defense 的作者……感兴趣的领域：离散域、NLP、RL。
This channel is part of the discussion
gonzo-обзоры ML статей appears in 7 event pages on TGListИнтересные находки про обучение малых LLM из предобученных больших. Small LLMs: Pruning vs. Training from Scratch Yufeng Xu, Taiming Lu, Kunjun Li, Jiachen Zhu, Mingjie Sun, Zhuang Liu Paper: Review: Code: Model: # TL;DR ЧТО сделали: Авторы провели строгое эмпирическое…
Что-то любопытное, но требует вдумчивого чтения. Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson Paper: Code: Review: Model: N/A # TL;DR ЧТО сделали: Авторы…
Как-то так получилось, что мы в канале разбирали почти все около-Лекуновские подходы к self-supervised. Почти по всем упомянутым работам (DINO, Barlow Twins, VICReg, SIGReg, LeJEPA, LpJEPA) нашлась ссылка на разбор в нашем канале. Теперь VISReg. Лекуна в соавторах нет, но есть…
Что-то любопытное, но требует вдумчивого чтения. Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson Paper: Code: Review: Model: N/A # TL;DR ЧТО сделали: Авторы…
Интересные находки про обучение малых LLM из предобученных больших. Small LLMs: Pruning vs. Training from Scratch Yufeng Xu, Taiming Lu, Kunjun Li, Jiachen Zhu, Mingjie Sun, Zhuang Liu Paper: Review: Code: Model: # TL;DR ЧТО сделали: Авторы провели строгое эмпирическое…
Что-то любопытное, но требует вдумчивого чтения. Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson Paper: Code: Review: Model: N/A # TL;DR ЧТО сделали: Авторы…