Qwen2-57B-A14B

Qwen2-57B-A14B — это крупная языковая модель семейства Qwen2, построенная по принципу Mixture-of-Experts (MoE). Она содержит 57 миллиардов параметров, однако при обработке каждого токена активируется только 14 миллиардов параметров. Такая архитектура позволяет совмещать высокую вычислительную эффективность с качеством генерации, характерным для моделей большего размера. В отличие от классических «плотных» моделей (dense), MoE-модель Qwen2-57B-A14B использует 64 эксперта (экспертных FFN-блоков), из которых одновременно для каждого токена выбираются 8 (плюс 8 общих экспертов), что обеспечивает гибкость и разнообразие комбинаций экспертов.

Благодаря универсальному токенизатору byte-level BPE с расширенным словарём, Qwen2-57B-A14B демонстрирует выдающиеся многоязычные способности и может эффективно работать с текстами на более чем 30 языках, включая английский, китайский, русский, арабский и другие. А обучение на качественных и разнообразных данных позволило Qwen2-57B-A14B демонстрировать выдающиеся результаты как в задачах общей эрудиции и понимании сложных текстов, так и в задачах генерации креативного контента.

Qwen2-57B-A14B идеально подходит интеллектуальных ассистентов, автоматизации программирования и аналитики. Её архитектурные инновации делают модель отличным выбором для корпоративных и исследовательских решений, где важны масштабируемость, гибкость и высокая производительность.


Announce Date: 27.07.2024
Parameters: 57.41B
Experts: 64
Activated: 14B
Context: 32K
Attention Type: Full Attention
VRAM requirements: 28.5 GB using 4 bits quantization
Developer: Alibaba
Transformers Version: 4.40.1
License: Apache 2.0

Public endpoint

Use our pre-built public endpoints to test inference and explore Qwen2-57B-A14B capabilities.
Model Name Context Type GPU TPS Status Link
There are no public endpoints for this model yet.

Private server

Rent your own physically dedicated instance with hourly or long-term monthly billing.

We recommend deploying private instances in the following scenarios:

  • maximize endpoint performance,
  • enable full context for long sequences,
  • ensure top-tier security for data processing in an isolated, dedicated environment,
  • use custom weights, such as fine-tuned models or LoRA adapters.

Recommended configurations for hosting Qwen2-57B-A14B

Prices:
Name vCPU RAM, MB Disk, GB GPU Price, hour
teslaa2-2.16.32.160 16 32768 160 2 $0.57 Launch
teslat4-2.16.32.160 16 32768 160 2 $0.80 Launch
teslaa10-2.16.64.160 16 65536 160 2 $0.93 Launch
rtx2080ti-3.16.64.160 16 65536 160 3 $0.95 Launch
teslav100-1.12.64.160 12 65536 160 1 $1.20 Launch
rtx5090-1.16.64.160 16 65536 160 1 $1.59 Launch
rtx3090-2.16.64.160 16 65536 160 2 $1.67 Launch
rtx3080-4.16.64.160 16 65536 160 4 $1.82 Launch
rtx4090-2.16.64.160 16 65536 160 2 $2.19 Launch
teslaa100-1.16.64.160 16 65536 160 1 $2.58 Launch
teslah100-1.16.64.160 16 65536 160 1 $5.11 Launch
Prices:
Name vCPU RAM, MB Disk, GB GPU Price, hour
teslaa10-3.16.96.160 16 98304 160 3 $1.34 Launch
teslat4-4.16.64.160 16 65536 160 4 $1.48 Launch
teslav100-2.16.64.240 16 65535 240 2 $2.22 Launch
rtx3090-3.16.96.160 16 98304 160 3 $2.45 Launch
teslaa100-1.16.64.160 16 65536 160 1 $2.58 Launch
rtx5090-2.16.64.160 16 65536 160 2 $2.93 Launch
rtx4090-3.16.96.160 16 98304 160 3 $3.23 Launch
teslah100-1.16.64.160 16 65536 160 1 $5.11 Launch
Prices:
Name vCPU RAM, MB Disk, GB GPU Price, hour
teslaa100-2.24.256.240 24 262144 240 2 $5.36 Launch
rtx5090-4.16.128.320 16 131072 320 4 $5.76 Launch
teslah100-2.24.256.240 24 262144 240 2 $10.41 Launch

Related models

QwQ
Qwen2-0.5B
Qwen2-1.5B
Qwen2-7B
Qwen2-72B
Qwen2.5-0.5B
Qwen2.5-1.5B
Qwen2.5-3B
Qwen2.5-7B
Qwen2.5-14B
Qwen2.5-32B
Qwen2.5-72B
DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Qwen-1.5B
Qwen2.5-VL-3B
Qwen2.5-VL-7B
Qwen2.5-7B-1M

Need help?

Contact our dedicated neural networks support team at nn@immers.cloud or send your request to the sales department at sale@immers.cloud.