前言

大语言模型（LLM）是人工智能领域的重大突破，它基于海量文本数据训练，容易理解并生成自然语言。在文本创作，问答系统等方面展现出强大的能力，然而大语言模型存在局限性，它主要聚焦于语言层面，缺乏对外部环境的感知与行动能力，难以独立完成复杂任务。

智能体则更进一步，它不仅能理解和生成语言，还具备感知环境做出决策并执行的能力。智能体将大语言模型作为核心组件之一，组合传感器，执行器等。实现对物理或虚拟世界的交互，例如在智能家居场景中，智能体借助大语言模型理解用户指令，再通过控制家电设备执行相应操作。

2025年Qwen3系列模型正式发布，这一系列开源大模

型凭借其技术突破与创新架构设计，迅速登顶全球开源模型。榜单，并在代码生成，数学推理，多语言处理等核心能力上展现出超越GPT4的潜力，作为Qwen家族的第三代模型。Qwen3不仅延续了前代产品的技术积累，更通过混合专家架构四阶段训练流程和双思考模式等创新重新定义的开源大模型的能力边界。

Qwen3作为阿里巴巴通义千问系列的新一代大模型，通过一系列前沿的技术创新，在性能、效率和成本控制上取得了显著突破。下面将为你详细解析其核心技术特点。

 核心架构与技术亮点

Qwen3的技术突破主要体现在其混合专家模型架构、创新的注意力机制以及对训练推理效率的深度优化。

• 高稀疏度混合专家模型
  Qwen3采用了混合专家模型架构，但其核心创新在于极高的稀疏度。以Qwen3-Next-80B模型为例，其总参数量为800亿，但在处理每个 token 时，仅通过路由机制激活约30亿参数。这种极高的专家激活比（如1:50）使得模型在拥有庞大知识容量的同时，极大地减少了计算开销和推理延迟，实现了“大容量”与“高效率”的统一。

• 混合注意力机制
  为了高效处理长文本，Qwen3-Next引入了混合注意力机制。它并非单一依赖某种注意力，而是将 Gated DeltaNet（一种线性注意力） 与增强后的标准门控注意力 以约3:1的比例在模型的不同层中进行组合。

  • Gated DeltaNet 负责高效处理长上下文，提供了强大的序列建模能力。

  • 标准注意力 层则经过优化（如输出门控、增大注意力头维度、部分使用旋转位置编码），保证了模型的关键信息召回和推理能力。
    这种混合策略旨在兼顾长文本处理的效率与模型的核心性能。

• 训练与推理的效率优化
  Qwen3在训练和推理环节都做了深度优化，以降低成本和提升速度。

  • 训练成本大幅降低：Qwen3-Next基座模型的训练，相比前代Qwen3-32B，计算资源消耗降低了90%以上。

  • 推理吞吐量显著提升：得益于高稀疏MoE和混合注意力机制，在超过32k tokens的长上下文场景下，Qwen3-Next的推理吞吐量相比Qwen3-32B有十倍以上的提升。

  • 多Token预测：Qwen3-Next原生集成了多Token预测机制，通过一次前向传播预测多个token，这不仅提升了模型本身的性能，也为其与投机解码 技术结合奠定了基础，可以进一步加速推理。

  • 训练稳定性优化：通过采用如零中心化Norm 并对Norm权重施加权重衰减 等技术，提升了大规模训练的稳定性。

性能表现与应用支持

在强大的技术架构支撑下，Qwen3展现出了卓越的性能，并针对实际应用场景提供了丰富的支持。

• 卓越的综合性能：在多项权威基准测试中，Qwen3系列模型表现优异。其指令微调版和思维版模型在数学推理（如AIME）、代码生成（如LiveCodeBench）、综合问答（如ArenaHard）及长文本理解（如RULER） 等多个领域都达到了开源模型的领先水平，部分指标甚至超越了规模更大的闭源模型。

• 强大的长上下文支持：Qwen3系列模型原生支持最长262,144个token的上下文，通过YaRN等技术甚至可以进一步扩展到百万token级别，能够应对整本书理解、超长对话等复杂场景。

• 专为智能体设计：Qwen3在设计之初就充分考虑了对AI智能体的支持。它具备强大的工具调用能力，并原生支持MCP协议。结合其独特的思考模式，模型能够进行复杂的逻辑推理和分步骤思考，使其非常适合作为智能体的“大脑”来执行复杂任务。

接下来将会引导大家完成Miniconde这个完整安装，然后通过运行一个程序来验证PyTorch框架的安装。通过这个示例，能让大家了解AI智能体开发环境的配置与使用。

1、MiniConda的下载与安装

第一步：下载和安装

通过访问清华镜像源下载（速度较快）

Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

点击右侧的“Date”按照时间倒序，选择想要安装的版本，这边选择的是

Miniconda3-py313_25.7.0-2-Windows-x86_64.exehttps://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py313_25.7.0-2-Windows-x86_64.exe

打开下载好的安装包，按照安装步骤安装完成。其中需要注意勾选第二项和第三项

---

下面两个√都取消勾选。

第二步：查看Miniconda

点击键盘上win键，输入“Anaconda Prompt”，点击打开。

进入控制台，显示以下信息即为安装成功。

第三步：验证Python

在“Anaconda Prompt”窗口中输入python，如果安装正确，会打印出Python版本以及控制符号。输入以下代码：

print("hello Python")

输入结果如下图所示，说明Minicoda安装成功

第四步：使用pip命令

使用Minicoda的好处在于，它能很方便地安装和使用大量第三方类库。输入查看已安装的第三方类库命令（需要安装ctrl+z退出Python环境）：

pip list

在Minicoda中安装第三方类库的命令如下：

pip install name

这里的name即是需要安装的第三方类库名，例如，要安装Numpy库，输入的命令就是：

pip install numpy

1.2 PyTorch的下载与安装

PyTorch由于拥有独有的动态计算图特性。让模型构建与调试更加灵活高效，能根据实际需求实时调整计算流程。简洁的API设计，极大降低开发门槛。由于现在要实现Qwen3模型，在进行部署和微调的操作中，同样需要借助par作为后端框架。

PyTorch的安装分为CPU版和GPU版，CPU的安装如下：

官网安装可能很慢，推荐使用国内的清华国内源下载（网络不佳和必要的时候可以添加国内源，清华国内源：Index of /anaconda/cloud/pytorch/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror）

pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simp

输入pip list后，下面标记部分有即为安装成功。

第一步：CUDA与cuDNN的安装

对于GPU版本的PyTorch来说，由于调用了NVIDIA显卡作为其代码运行的主要工具，因此需要NVIDIA提供的运行库作为运行基础。

首先打开cmd命令行，输入nvidia-smi，查看显卡版本，我这边是12.9

进入PyTorch官网，可以看下下面版本的CUDA，只需选择安装小于或等于12.9的版本，因此可选择CUDA12.6版本的PyTorch进行安装。

进入CUDA官网：CUDA Toolkit Archive | NVIDIA Developer

点击12.6.0，进入页面

可参考以下选项进行选择

等待下载完成，双击安装包进行安装流程，所有流程都按照默认的来即可。

这地方也选择默认的“精简”

等待安装程序慢慢安装完成。

验证安装是否成功，在命令行中输入

nvcc -v 

出现以下类似输出即证明安装成功。

安装cuDNN加速器

进入官网CUDA Deep Neural Network (cuDNN) | NVIDIA Developer，选择对应版本的cuDNN下载。

安装并解压完后，将下面几个文件复制到CUDA安装主目录中，替换原有的文件。

安装PyTorch-GPU

需要在Miniconda Prompt窗口中输入PyTorch安装命令即可。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

输入pip list后，下面标记部分有即为安装成功。

PyTorch-GPU安装验证

import torch
 
result = torch.tensor(1) + torch.tensor(2.0)
result

结果如下图所示，即为安装成功。

安装PyCharm

进入PyCharm官网下载并安装PyCharm编译器，步骤安装默认即可。