लेखक: ग्रिशा सैपुनोव, यैंडेक्स-न्यूज़ के पूर्व विकास प्रबंधक, अब इंटेन्टो के सीटीओ। रुचि के क्षेत्र: एआई/एमएल/डीएल, जैव सूचना विज्ञान। लेशा तिखोनोव, पूर्व में यांडेक्स में एक विश्लेषक, ऑटोपोएट, न्यूरल डिफेंस के लेखक... रुचि के क्षेत्र: असतत डोमेन, एनएलपी, आरएल।
This channel is part of the discussion
gonzo-обзоры ML статей appears in 7 event pages on TGListИнтересные находки про обучение малых LLM из предобученных больших. Small LLMs: Pruning vs. Training from Scratch Yufeng Xu, Taiming Lu, Kunjun Li, Jiachen Zhu, Mingjie Sun, Zhuang Liu Paper: Review: Code: Model: # TL;DR ЧТО сделали: Авторы провели строгое эмпирическое…
Что-то любопытное, но требует вдумчивого чтения. Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson Paper: Code: Review: Model: N/A # TL;DR ЧТО сделали: Авторы…
Как-то так получилось, что мы в канале разбирали почти все около-Лекуновские подходы к self-supervised. Почти по всем упомянутым работам (DINO, Barlow Twins, VICReg, SIGReg, LeJEPA, LpJEPA) нашлась ссылка на разбор в нашем канале. Теперь VISReg. Лекуна в соавторах нет, но есть…
Что-то любопытное, но требует вдумчивого чтения. Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson Paper: Code: Review: Model: N/A # TL;DR ЧТО сделали: Авторы…
Интересные находки про обучение малых LLM из предобученных больших. Small LLMs: Pruning vs. Training from Scratch Yufeng Xu, Taiming Lu, Kunjun Li, Jiachen Zhu, Mingjie Sun, Zhuang Liu Paper: Review: Code: Model: # TL;DR ЧТО сделали: Авторы провели строгое эмпирическое…
Что-то любопытное, но требует вдумчивого чтения. Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson Paper: Code: Review: Model: N/A # TL;DR ЧТО сделали: Авторы…