Квантизация больших языковых моделей с переопределенным базисом

Большие языковые модели (Large Language Models, LLM) требуют больших вычислительных ресурсов. В нашей работе было показано, что, используя разложение Кашина (разложение вектора по переопределенному базису), можно получить существенное уменьшение количества параметров при сохранении точности. При этом сам метод разложения не требует больших вычислительных ресурсов и дает теоретические гарантии. В самом докладе будет также дан обзор области компактных представлений языковых моделей, выделены ключевые работы и открытые задачи.