Autores: Grisha Sapunov, ex gerente de desarrollo de Yandex-News, ahora CTO de Intento. Áreas de interés: AI/ML/DL, bioinformática. Lesha Tikhonov, ex analista de Yandex, autora de Autopoet, Neural Defense... Áreas de interés: dominio discreto, PNL, RL.
This channel is part of the discussion
gonzo-обзоры ML статей appears in 7 event pages on TGListИнтересные находки про обучение малых LLM из предобученных больших. Small LLMs: Pruning vs. Training from Scratch Yufeng Xu, Taiming Lu, Kunjun Li, Jiachen Zhu, Mingjie Sun, Zhuang Liu Paper: Review: Code: Model: # TL;DR ЧТО сделали: Авторы провели строгое эмпирическое…
Что-то любопытное, но требует вдумчивого чтения. Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson Paper: Code: Review: Model: N/A # TL;DR ЧТО сделали: Авторы…
Как-то так получилось, что мы в канале разбирали почти все около-Лекуновские подходы к self-supervised. Почти по всем упомянутым работам (DINO, Barlow Twins, VICReg, SIGReg, LeJEPA, LpJEPA) нашлась ссылка на разбор в нашем канале. Теперь VISReg. Лекуна в соавторах нет, но есть…
Что-то любопытное, но требует вдумчивого чтения. Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson Paper: Code: Review: Model: N/A # TL;DR ЧТО сделали: Авторы…
Интересные находки про обучение малых LLM из предобученных больших. Small LLMs: Pruning vs. Training from Scratch Yufeng Xu, Taiming Lu, Kunjun Li, Jiachen Zhu, Mingjie Sun, Zhuang Liu Paper: Review: Code: Model: # TL;DR ЧТО сделали: Авторы провели строгое эмпирическое…
Что-то любопытное, но требует вдумчивого чтения. Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson Paper: Code: Review: Model: N/A # TL;DR ЧТО сделали: Авторы…