Qwen 快速入门

阿里通义千问开源版,中文天花板之一,大小尺寸齐全,本地跑、商用、微调都顺手。

这是什么?适合谁?

Qwen(通义千问)是阿里云推出的开源大语言模型系列,自 2023 年起持续迭代,Qwen、Qwen1.5、Qwen2、Qwen2.5、Qwen3 等多个版本,是中国开源大模型中口碑最好、生态最完善的一个系列。它的衍生模型还包括 Qwen-VL(视觉)、Qwen-Audio(语音)、Qwen-Coder(代码)、QwQ(推理)、Qwen-Math(数学)等垂直版本。

它适合这些用户:第一,做中文应用的开发者,Qwen 在中文理解和生成上长期处于开源第一梯队;第二,做本地部署的企业,需要数据不出域,Qwen 提供清晰的商用许可(Tongyi Qianwen LICENSE);第三,做代码助手、AI 编程工具的团队,Qwen-Coder 在 HumanEval、MBPP 等代码评测上排名靠前;第四,做 Agent、Copilot 类应用的工程师,Qwen 系列较早支持 Function Calling 和长上下文。

Qwen 的核心优势:一,中文能力一流,在 C-Eval、CMMLU 等中文评测上长期领先;二,模型尺寸从 0.5B 到 72B,甚至还有 MoE 架构,适合不同硬件;三,衍生模型丰富,视觉、音频、代码、数学都覆盖;四,在 Hugging Face、ModelScope 等平台同步开源,国内外都能下。

注意:模型权重许可随版本变化,使用前确认 LICENSE;大模型(72B)需要多张 A100,小模型(0.5B/1.5B)在笔记本都能跑。

准备工作

• 硬件需求根据模型大小:0.5B/1.5B 适合笔记本和手机,7B 消费级显卡(8GB+),72B 需要多卡
• Linux / macOS / Windows(WSL2)
• Python 3.8+,PyTorch 2.0+
• CUDA / ROCm / Apple Silicon MPS
• 至少 20GB 磁盘(7B),72B 约 150GB
• 基础的 Python 和命令行能力

3 步快速上手

第 1 步:安装推理工具

最简单的方案是 Ollama:

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen2.5

如果用 Python + Transformers:

pip install torch transformers accelerate

生产推荐 vLLM 或 LMDeploy:

pip install vllm
# 或
pip install lmdeploy

第 2 步:下载模型

从 Hugging Face 下载:

pip install huggingface_hub
huggingface-cli login

# 下载 Qwen2.5-7B-Instruct
huggingface-cli download Qwen/Qwen2.5-7B-Instruct \
  --local-dir Qwen2.5-7B-Instruct

国内用户用 ModelScope(魔搭社区)更快:

pip install modelscope
python -c "from modelscope import snapshot_download; snapshot_download('qwen/Qwen2.5-7B-Instruct', cache_dir='./')"

第 3 步:跑通对话

用 Transformers,新建 chat_qwen.py:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "Qwen2.5-7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

messages = [{"role": "user", "content": "用一句话介绍通义千问大模型。"}]
text = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
input_ids = tokenizer(text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

如果用 Ollama,终端直接对话,或者调 API:

curl http://localhost:11434/api/chat -d '{
  "model": "qwen2.5",
  "messages": [{"role": "user", "content": "你好"}]
}'

常见踩坑

1. 下载慢:Hugging Face 国内访问慢,推荐 ModelScope(魔搭)或 hf-mirror 镜像。
2. 显存不够:Qwen2.5 7B bf16 需 ~15GB,4-bit 量化版 ~5GB;72B 量化后还要 ~40GB。
3. 特殊 token 用错:Qwen 用 ChatML 格式(<|im_start|>system\n...),别自己拼字符串,用 apply_chat_template。
4. 微调时数据格式:Qwen 微调用 ChatML JSON 格式,数据准备要符合规范,否则训练会失败。
5. 许可证看清楚:Qwen 多数版本用 Apache 2.0 或 Tongyi Qianwen LICENSE,商用前确认条款。
6. 多卡并行:大模型需要张量并行或流水线并行,单卡放不下,记得配 deepspeed 或 accelerate 配置。

初级用法

• Ollama 本地跑:终端 ollama run qwen2.5,直接聊天,几分钟搞定。
• Web UI:Open WebUI、LM Studio 等 GUI 工具直接选 Qwen 模型。
• API 部署:vLLM 或 LMDeploy 启动 OpenAI 兼容 API,接应用。

高级玩法

• LoRA / QLoRA 微调:用 peft + transformers 微调,小数据集也能出效果。
• Function Calling:Qwen2.5 支持 tool use,可以做 Agent。
• RAG:配合 LangChain、LlamaIndex 做企业知识问答。
• 量化:bitsandbytes 4-bit、GPTQ、AWQ 等方案,显存紧张就用量化版。
• 代码任务:Qwen2.5-Coder 在代码补全和审查上效果很好,做编程助手直接选它。
• 视觉多模态:Qwen2-VL 支持图像输入,可以做图片理解、OCR、视频分析。

小技巧

• 个人学习用 Qwen2.5 7B 或 14B,质量高、消费级显卡可跑;中文场景强烈推荐。
• 国内业务、中文任务选 Qwen 是稳妥选择,许可清晰、生态成熟、文档完善。
• 用 ModelScope 下载模型速度飞起,推荐国内开发者首选。
• vLLM 部署 Qwen,吞吐量高,生产环境标配。
• Qwen-Coder 写代码能力一流,做 IDE 插件或代码审查工具直接选它。
• 长文档任务用 Qwen2.5-1M(支持 100 万 token 上下文),整本书丢进去不丢信息。
• 中文 RAG 场景,Qwen + BGE 嵌入 + Milvus/Qdrant 是经典组合,效果稳定。

常见问题 FAQ

Q1: Qwen 开源模型可以免费商用吗？

A: Qwen 小尺寸开源模型（0.5B—72B）多数使用 Apache 2.0 或 Tongyi Qianwen LICENSE 协议，通常允许商用。但旗舰版本（如 Qwen3.7-Max）是闭源的，仅通过阿里云 API 提供服务。使用前务必确认具体模型版本的 LICENSE 文件。开源模型从 Hugging Face/ModelScope 免费下载，API 调用按 Token 计费（Qwen3.7-Max 输入 ¥12/百万 Token，输出 ¥36/百万 Token）。

Q2: Qwen 开源模型和 API 版本有什么区别？

A: 开源版可本地部署、数据不出域、免费使用但需自备 GPU；API 版由阿里云托管、按量付费、无需硬件投入。开源版模型规模较小（最大 72B），API 版有更强大的闭源旗舰（如 Qwen3.7-Max 支持 100 万 Token 上下文）。

Q3: 国内下载 Qwen 模型太慢怎么办？

A: 推荐使用 ModelScope（魔搭社区）国内镜像下载，速度远快于 Hugging Face。也可使用 hf-mirror.com 等 HF 镜像站。部分小模型可直接通过 Ollama 一键拉取。

Q4: Qwen 的中文能力在开源模型中处于什么水平？

A: Qwen 系列在 C-Eval、CMMLU 等中文评测中长期处于开源第一梯队，中文理解和生成能力明显优于 Llama、Mistral 等海外开源模型。中文场景下 Qwen 是目前最稳妥的开源选择之一。

进阶学习建议

如果想进一步用好 Qwen,建议按以下路径学习:

第 1 周:熟练基础

• 完成 3 步快速上手,跑通第一个任务
• 试 2-3 个不同场景的真实任务
• 记录”哪些操作有效、哪些没用”——形成自己的笔记

第 2 周:探索功能

• 把界面上的按钮/菜单都点一遍
• 找到最常用的 3-5 个功能
• 配置个性化设置(主题、快捷键、默认参数)

第 3-4 周:融入工作流

• 找到 Qwen 与你现有工具的结合点
• 用快捷键/模板/批处理提高效率
• 考虑付费升级(如果免费版够用就不必)

长期:进阶玩法

• 探索 Qwen 的 API/SDK 集成
• 写自己的脚本/扩展/插件
• 关注官方博客/更新日志,第一时间用上新功能

推荐资源:

• 官方文档:https://github.com/QwenLM/Qwen
• 官方 YouTube/B 站频道(看产品演示)
• 国内社区:CSDN/掘金/知乎搜 “Qwen 教程”
• 国外社区:Reddit、Product Hunt 评论区

避免的坑:

• 不要追求”全能工具”——Qwen 不可能满足所有需求
• 不要盲目订阅付费版——先用免费版验证价值
• 不要忽略数据备份——重要内容定期导出
• 不要被新功能冲昏头脑——核心功能用熟再拓展

参考链接

• Qwen GitHub:https://github.com/QwenLM/Qwen
• 官方文档:https://qwen.readthedocs.io
• Hugging Face:https://huggingface.co/Qwen
• ModelScope 镜像:https://www.modelscope.cn/models/qwen
• Ollama 模型库:https://ollama.com/library/qwen2.5
• 阿里云百炼(托管 API):https://bailian.console.aliyun.com
• 在线体验:https://chat.qwen.ai

我的个人推荐(测试编辑 Mnet)

最常用的 1 个功能:每天打开的第一件事,通常是它最核心的功能——其他花哨功能反而用得少。

最容易踩的坑:不要被”功能丰富”迷惑——大部分用户其实只需要其中 20% 的功能,其他 80% 可能永远用不到。

适合人群:有明确需求场景的用户,而不是”看起来很强先收藏”的人。

3 个月使用心得:用 3 个月后,你会发现自己对它的依赖越来越”无感”——这是好事,说明它已经融入了你的工作流。

免费 vs 付费:如果只是偶尔用,免费版够用;如果是日常必备工具,直接付费省心——把时间花在”判断值不值”上反而更贵。

推荐配合的工具:把它和你的浏览器、办公套件、笔记工具配合起来,形成自己的”小工作流”。

长期价值:持续用 6 个月以上,你会发现它是性价比最高的订阅之一——前提是你真的每天用。

本文基于官方文档和公开资料整理，AI辅助生成，MagicNetWorld 尚未完成独立实测。如有错误或过时信息，请通过 contact@magicnetworld.com 反馈。