Qwen2-57B-A14B

Qwen2-57B-A14B — это крупная языковая модель семейства Qwen2, построенная по принципу Mixture-of-Experts (MoE). Она содержит 57 миллиардов параметров, однако при обработке каждого токена активируется только 14 миллиардов параметров. Такая архитектура позволяет совмещать высокую вычислительную эффективность с качеством генерации, характерным для моделей большего размера. В отличие от классических «плотных» моделей (dense), MoE-модель Qwen2-57B-A14B использует 64 эксперта (экспертных FFN-блоков), из которых одновременно для каждого токена выбираются 8 (плюс 8 общих экспертов), что обеспечивает гибкость и разнообразие комбинаций экспертов.

Благодаря универсальному токенизатору byte-level BPE с расширенным словарём, Qwen2-57B-A14B демонстрирует выдающиеся многоязычные способности и может эффективно работать с текстами на более чем 30 языках, включая английский, китайский, русский, арабский и другие. А обучение на качественных и разнообразных данных позволило Qwen2-57B-A14B демонстрировать выдающиеся результаты как в задачах общей эрудиции и понимании сложных текстов, так и в задачах генерации креативного контента.

Qwen2-57B-A14B идеально подходит интеллектуальных ассистентов, автоматизации программирования и аналитики. Её архитектурные инновации делают модель отличным выбором для корпоративных и исследовательских решений, где важны масштабируемость, гибкость и высокая производительность.

Announce Date: 27.07.2024
Parameters: 57.41B
Experts: 64
Activated at inference: 14B
Context: 32K
Layers: 28
Attention Type: Full Attention
VRAM requirements: 31.0 GB using 4 bits quantization
Developer: Qwen
Transformers Version: 4.40.1
License: Apache 2.0

Use our pre-built public endpoints for free to test inference and explore Qwen2-57B-A14B capabilities. You can obtain an API access token on the token management page after registration and verification.

Rent your own physically dedicated instance with hourly or long-term monthly billing.

We recommend deploying private instances in the following scenarios:

• maximize endpoint performance,
• enable full context for long sequences,
• ensure top-tier security for data processing in an isolated, dedicated environment,
• use custom weights, such as fine-tuned models or LoRA adapters.

Contact our dedicated neural networks support team at nn@immers.cloud or send your request to the sales department at sale@immers.cloud.