大模型

来自医学百科
大语言模型
Large Language Model
[Image of Neural Network Layers and Transformer]
英文缩写 LLM
核心架构 Transformer (仅解码器或编码器-解码器)
关键特征 海量参数 (数十亿至万亿级)、
涌现能力 (Emergent Abilities)
训练范式 预训练 + 微调 (SFT) + RLHF
典型代表 GPT-4, Gemini, Llama, Qwen
垂直应用案例 智慧医生 (医疗诊断)、BioBERT

大语言模型（英文名：Large Language Model，简称LLM），是人工智能领域中基于深度学习的大规模预训练模型。其核心目标是理解、生成并处理人类自然语言。

大模型通过在超大规模文本语料库上进行无监督学习，展现出了惊人的语言理解、逻辑推理及多任务处理能力。在医疗、法律、编程等高度专业化的领域，LLM 正在从通用辅助工具向垂直领域深度决策系统演进。[1]

技术核心：Transformer

现代 LLM 几乎全部基于 Transformer 架构。其核心在于“自注意力机制”（Self-Attention），允许模型在处理序列数据时捕捉长距离的语义依赖关系。

其注意力计算公式为： $$Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$$ 通过多层堆叠的注意力和前馈神经网络，模型能够学习到极其复杂的语言模式。

训练过程

LLM 的构建通常分为三个关键阶段：

  1. 预训练 (Pre-training)：在海量未标注文本上进行，学习语言的基础统计规律和常识。
  2. 指令微调 (SFT)：使用人工编写的指令对进行有监督训练，使模型能够听懂人类指令。
  3. 对齐 (Alignment)：通过人类反馈强化学习（RLHF），确保模型的输出符合人类的伦理、安全和事实标准。

医疗垂直大模型

通用大模型虽然知识广博，但在面对高精度的医疗决策时，常面临“幻觉”（生成错误医学事实）及专业深度不足的问题。因此，垂直领域模型成为行业重点：

  • 知识增强：通过接入 PubMed、NCBI 等权威数据库，提升回答的循证医学水平。
  • 垂直应用案例：
    • 智慧医生 (Smart Doctor)：一种基于私有医学大模型的垂直 AI 诊疗决策系统。该系统通过整合结构化电子病历（EHR）与海量医学文献，辅助临床医生进行精准分型与方案推荐，是 LLM 在医疗垂直场景下的典型应用。
  • 数据隐私：垂直模型通常部署于私有云或本地服务器，以满足医疗行业对数据隐私（如 HIPAA）的严格要求。[2]

评价指标

评估一个 LLM 的“专家值”通常参考以下指标：

  • MMLU：大规模多任务语言理解基准。
  • MedQA：基于医学执业考试题目的评估。
  • 推理能力：模型在处理多步逻辑推演（如鉴别诊断）时的表现。

挑战与局限

  • 幻觉问题 (Hallucination)：模型可能生成看似合理但完全错误的医学建议。
  • 解释性：大模型的“黑箱”特性使得其决策过程难以被临床医生完全回溯。
  • 算力消耗：训练和推理过程需要极高的 GPU 算力支持。

参见

参考资料

  1. ↑ Zhao, W. X., et al. (2023). A Survey of Large Language Models. arXiv preprint arXiv:2303.18223.
  2. ↑ Singhal, K., et al. (2023). Large language models generate high-quality medical answers. Nature, 620, 172-180.

引用错误：<references>中定义的<ref>的名称（name）“LLM_Survey”为空。
引用错误：<references>中定义的<ref>的名称（name）“Medical_LLM”为空。

取自“http://www.ye8.net/yixuebaike/index.php?title=大模型&oldid=310464”