Authors: Grisha Sapunov, former development manager of Yandex-News, now CTO of Intento. Areas of interest: AI/ML/DL, bioinformatics. Lesha Tikhonov, formerly an analyst at Yandex, author of Autopoet, Neural Defense... Areas of interest: discrete domain, NLP, RL.
This channel is part of the discussion
gonzo-обзоры ML статей appears in 7 event pages on TGListИнтересные находки про обучение малых LLM из предобученных больших. Small LLMs: Pruning vs. Training from Scratch Yufeng Xu, Taiming Lu, Kunjun Li, Jiachen Zhu, Mingjie Sun, Zhuang Liu Paper: Review: Code: Model: # TL;DR ЧТО сделали: Авторы провели строгое эмпирическое…
Что-то любопытное, но требует вдумчивого чтения. Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson Paper: Code: Review: Model: N/A # TL;DR ЧТО сделали: Авторы…
Как-то так получилось, что мы в канале разбирали почти все около-Лекуновские подходы к self-supervised. Почти по всем упомянутым работам (DINO, Barlow Twins, VICReg, SIGReg, LeJEPA, LpJEPA) нашлась ссылка на разбор в нашем канале. Теперь VISReg. Лекуна в соавторах нет, но есть…
Что-то любопытное, но требует вдумчивого чтения. Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson Paper: Code: Review: Model: N/A # TL;DR ЧТО сделали: Авторы…
Интересные находки про обучение малых LLM из предобученных больших. Small LLMs: Pruning vs. Training from Scratch Yufeng Xu, Taiming Lu, Kunjun Li, Jiachen Zhu, Mingjie Sun, Zhuang Liu Paper: Review: Code: Model: # TL;DR ЧТО сделали: Авторы провели строгое эмпирическое…
Что-то любопытное, но требует вдумчивого чтения. Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson Paper: Code: Review: Model: N/A # TL;DR ЧТО сделали: Авторы…