Qwen3-0.6B-MNN

本仓库是从 Qwen/Qwen3-0.6B 转换的 MNN HQQ 4-bit 推理模型。

导出日期：2026-11-09；导出版本：MNN 3.6.2；源码提交：b0239771b07b317a258fbc384683bbd540741406。

原始模型介绍

Qwen3-0.6B 是 Qwen3 系列的 0.6B 稠密语言模型，经过预训练与后训练。上游介绍强调同一模型内的思考 / 非思考模式切换、多语言指令跟随与翻译能力；本包保留随包模板的思考默认行为，本次 x64 CPU 检查不等于对这些上游能力的全面评测。

项目	本包信息
原始模型	Qwen/Qwen3-0.6B
输入 / 输出	文本 / 文本
架构 / 语言层数	稠密、仅解码器 Transformer / 28
语言主干线性权重	HQQ 4-bit，分组大小 64
LM 输出头	HQQ 8-bit，分组大小 64
线性 / LM 量化尺度存储	FP16（`scale_bit=16`）
输入嵌入	与 LM 输出头共享 8-bit 量化权重，分组大小 64，尺度 FP16

下载

优先使用 ModelScope，下载全部文件到同一目录：

python -m pip install -U modelscope
python -c "from modelscope import snapshot_download; snapshot_download('MNN/Qwen3-0.6B-MNN', local_dir='./Qwen3-0.6B-MNN')"
export MODEL_DIR=./Qwen3-0.6B-MNN

也可通过 Hugging Face 镜像下载：

export HF_ENDPOINT=https://hf-mirror.com
pip install -U huggingface_hub
hf download taobao-mnn/Qwen3-0.6B-MNN --local-dir ./Qwen3-0.6B-MNN
export MODEL_DIR=./Qwen3-0.6B-MNN

务必一起更新模型图、外部权重、分词器、模板和配置。加载前清理旧模型、权重及 KV 缓存；不要混用不同修订的文件，尤其不能沿用旧配置中的共享嵌入权重偏移。

MNN 版本与编译

本包要求 MNN 3.6.2 或更新版本及 Transformer 融合支持，旧版运行时或应用需先升级。准备 Git、CMake 和 C++ 编译工具链，在同一个工作目录执行以下命令，固定到实际导出提交：

git clone https://github.com/alibaba/MNN.git
git -C MNN checkout b0239771b07b317a258fbc384683bbd540741406
(cd MNN && ./schema/generate.sh)
cmake -S MNN -B MNN/build \
  -DCMAKE_BUILD_TYPE=Release \
  -DMNN_BUILD_LLM=ON -DMNN_LOW_MEMORY=ON \
  -DMNN_BUILD_CONVERTER=ON -DMNN_SUPPORT_TRANSFORMER_FUSE=ON \
  -DMNN_SEP_BUILD=OFF
cmake --build MNN/build --parallel 4

转换方法

使用上述固定提交的导出器及其依赖清单，将原始模型下载到独立目录，并输出到全新的目录：

export HF_ENDPOINT=https://hf-mirror.com
python -m pip install -r MNN/transformers/llm/export/requirements.txt
python -c "from modelscope import snapshot_download; snapshot_download('Qwen/Qwen3-0.6B', local_dir='./original/Qwen3-0.6B')"
python MNN/transformers/llm/export/llmexport.py \
  --path ./original/Qwen3-0.6B \
  --export mnn --hqq --quant_bit 4 --quant_block 64 \
  --scale_bit 16 --embed_bit 16 --lm_quant_bit 8 --lm_quant_block 64 \
  --mnnconvert ./MNN/build/MNNConvert \
  --dst_path ./reexported/Qwen3-0.6B-MNN

本包 seperate_embed=false、tie_word_embeddings=true：embed_bit=16 是记录的导出参数，实际输入嵌入共享 8-bit LM 权重，并非独立 BF16 嵌入。C4、QKV / gate-up 投影与归一化投影融合在该提交默认启用，无需额外开关。

完整参数见 export_args.json，来源、哈希及验证记录见 refresh_metadata.json。示例下载上游当前快照；元数据中的来源提交或 sha256: 溯源值不能直接当作 ModelScope 下载修订号。重新导出不保证字节一致，应保留整套新权重、模板和配置，禁止复制旧权重偏移。

推理与测试

使用随包配置

config.json 使用 CPU、4 线程、precision=low、memory=low。采样配置为 mixed，temperature=0.6、top_k=20、top_p=0.95、repetition_penalty=1.1，min_p=0。请保留 llm_config.json 的聊天模板及思考默认行为，不要为运行本例强行关闭思考模式。

printf 'What is 2 + 3? Reply with only the number.\n' > prompt.txt
./MNN/build/llm_demo "$MODEL_DIR/config.json" prompt.txt
./MNN/build/llm_bench -m "$MODEL_DIR/config.json" -a cpu -t 4 -p 128 -n 32

输出可能包含思考内容，而不仅是数字。llm_bench 命令仅演示如何在自己的环境测量，参数为 128 个输入 token、32 个生成 token；本卡未发布性能测量。

已验证范围

2026-11-09 的自动检查及默认配置冒烟测试通过，验证平台仅为 x64 CPU：

原始模型与导出器映射的 FP32 prefill / decode 对齐通过；这不是量化输出逐 token 一致性承诺。
聊天模板与输入 token ID 匹配，中文问候、算术、短翻译及约 900-token 级上下文翻译通过；本模型长输入用例为 902 个 prompt token。
检查了自然 EOS 停止及外部权重完整性；默认采样冒烟通过。正确性检查中的 greedy 采样与日常使用的默认采样是不同检查条件。

未验证 ARM CPU FP16、Metal、OpenCL、Vulkan 或 CUDA；本包无音频、视频验证证据。上述用例不构成全面精度或性能基准，也不证明最大可用上下文长度或与未量化模型输出完全相同。生成内容可能错误，重要结论请独立核实。