Спасибо!
#1
by
sharsk - opened
Спасибо! Будем тестировать, а квантовать не пробовали?
надо бы на ollama обавить
@sharsk привет! Вот есть https://huggingface.co/nn-tech/MetalGPT-1-AWQ
Также я у себя разместил ее для тестов - https://huggingface.co/spaces/kb-42/nornickel-metalgpt-awq-test