进阶
部份内容参考自：大模型面试必看：100道大模型面试题，一篇掌握所有关键知识点！
llama输入句子长度理论上可以无限长吗?
LLaMA（Large Language Model Adaptation）模型的输入句子长度受到硬件资源和模型设计的限制。
理论上，如果硬件资源足够，模型可以处理非常长的输入句子。然而，实际上，由于内存和处理能力的限制，输入句子长度通常是有限制的。在实际应用中，开发者会根据具体需求和硬件配置来确定合适的输入句子长度。
什么是LLMs复读机问题?
LLMs复读机问题是指在某些情况下，大型语言模型在生成文本时会重复之前已经生成的内容，导致生成的文本缺乏多样性和创造性。
为什么会出现LLMs复读机问题?**
LLMs复读机问题可能由多种因素引起，包括模型训练数据中的重复模式、模型在处理长序列时的注意力机制失效、或者模型在生成文本时对过去信息的过度依赖等。
如何缓解LLMs复读机问题?
- 数据增强：通过增加训练数据的多样性和复杂性，减少重复模式的出现。
- 模型改进：改进模型的结构和注意力机制，使其更好地处理长序列和避免过度依赖过去信息。
- 生成策略：在生成文本时采用多样化的策略，如抽样生成或引入随机性，以增加生成文本的多样性。
什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型?
- BERT模型通常用于需要理解文本深层语义的任务，如文本分类、命名实体识别等。
- LLaMA和 ChatGLM类大模型则适用于需要生成文本或进行更复杂语言理解的任务，如对话系统、文本生成等。选择哪种模型取决于任务的需求和可用资源。
各个专业领域是否需要各自的大模型来服务?
不同的专业领域需要特定的大模型来更好地服务。专业领域的大模型可以针对特定领域的语言 和知识进行优化，提供更准确和相关的回答和生成文本。
如何让大模型处理更长的文本?
- 使用模型架构，如Transformer, 它可以有效地处理长序列。
- 使用内存机制，如外部记忆或缓存，来存储和检索长文本中的信息。
- 使用分块方法，将长文本分割成更小的部分，然后分别处理这些部分。
- 大模型参数微调、训练、推理
如果想要在某个模型基础上做全参数微调，究竟需要多少显存?
全参数微调 (Full Fine-Tuning) 通常需要大量的显存，因为这种方法涉及到更新模型的所有参数。
显存的需求取决于模型的规模、批量大小、以及使用的硬件。例如，对于大型模型如GPT- 3,可能需要多个GPU甚至TPU来分配显存，每个GPU或TPU可能需要几十GB的显存。在实际操作中，需要进行试错法来确定合适的批量大小和硬件配置。
为什么SFT之后感觉LLM傻了?
- 收集或生成与特定任务相关的指令和数据对，其中指令是描述任务或要求的文本，数据是对应的输入输出示例。
- 清洗和预处理数据，以确保数据的质量和一致性。
- 根据任务需求，对数据进行增强，如使用数据增强技术生成更多的训练样本。
- 将数据格式化为模型训练所需的格式，例如，对于语言模型，通常需要将文本转化为模型可以理解的数字编码。
SFT指令微调数据如何构建?
- 收集或生成与特定任务相关的指令和数据对，其中指令是描述任务或要求的文本，数据是对应的输入输出示例。
- 清洗和预处理数据，以确保数据的质量和一致性。
- 根据任务需求，对数据进行增强，如使用数据增强技术生成更多的训练样本。
- 将数据格式化为模型训练所需的格式，例如，对于语言模型，通常需要将文本转化为模型可以理解的数字编码。
领域模型Continue PreTrain数据选取?
领域模型继续预训练（Continue Pre-Training）的数据选取应该基于领域内的文本特点和应用需求。通常，需要选取大量、高质量、多样化的领域文本数据。数据可以来自专业文献、行业报告、在线论坛、新闻文章等。数据选取时应该注意避免偏见和不平衡，确保数据能够全面地代表领域内的知识和语言使用。
领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力?
- 多任务学习：在训练过程中同时包含领域内和通用的任务，使模型能够同时学习领域特定的和通用的知识。
- 控制微调强度：通过调整微调的学习率或训练轮数来控制模型对领域数据的适应程度。
- 定期回炉：在领域数据训练后，定期使用通用数据进行回炉训练，以保持模型的通用能力。
- 知识蒸馏：使用一个预训练的通用模型来指导领域模型，帮助模型保持通用知识。
领域模型Continue PreTrain，如何让模型在预训练过程中就学习到更多的知识?
- 数据增强：使用数据增强技术如回译、掩码语言模型等来生成更多的训练样本。
- 知识注入：将领域特定的知识以文本、结构化数据或知识图谱的形式注入到预训练过程中。
- 多模态学习：如果适用，可以使用多模态数据(如文本和图像)进行预训练，以丰富模型的知识表示。
进行SFT操作的时候，基座模型选用Chat还是Base?
在进行指令微调 (SFT) 操作时，选择基座模型 (Chat或Base) 取决于具体任务的需求和模型的性能。通常，如果任务需要生成对话或交互式响应，可以选择对话优化的模型 (Chat)。如果任务更注重理解和生成文本的能力，可以选择基础模型 (Base)。
在实际应用中，可能需要根据实验结果和模型性能来选择最合适的基座模型。
领域模型微调指令&数据输入格式要求?
领域模型微调的指令和数据输入格式要求取决于所使用的模型和框架。一般来说，指令应该是清晰、具体的，能够指导模型完成特定的任务。数据输入格式通常需要与模型的输入接口相匹配，例如，对于文本模型，数据通常需要是字符串格式，并且可能需要经过特定的预处理，如分词、编码等。
领域模型微调领域评测集构建?
构建领域模型微调的领域评测集时，应该确保评测集能够全面、准确地反映领域内的任务需求和性能指标。通常，需要从领域内的真实数据中收集或生成评测样本，并确保样本的多样性和代表性。此外，可以根据任务需求设计定制的评价指标，以评估模型在领域内的性能。
领域模型词表扩增是不是有必要的?
领域模型词表扩增通常是有必要的，尤其是当领域内有大量的专业术语或特定词汇时。词表扩 增可以帮助模型更好地理解和生成领域内的文本，提高模型的领域适应性。然而，词表扩增也需要谨慎进行，以避免引入过多的噪音或不相关的词汇。
如何训练自己的大模型?
- 选择合适的预训练目标和任务：确定模型将学习哪些通用的语言知识，以及针对哪些特定任务进行优化。
- 收集和准备数据：收集大量、多样化的数据，包括通用数据和特定领域的数据，进行清洗和预处理。
- 选择模型架构：选择一个适合的模型架构，如Transformer, 并确定模型的规模和层数。
- 定义训练流程：设置训练参数，如学习率、批量大小、训练轮数等，并选择合适的优化器和损失函数。
- 训练模型：使用准备好的数据和训练流程开始训练模型，监控训练过程中的性能和资源使用。
- 评估和调优：在训练过程中定期评估模型的性能，并根据需要调整训练参数和模型架构。
- 微调和优化：在模型达到一定的性能后，进行微调以适应特定的应用场景和任务需求。
训练中文大模型有啥经验?
使用大量高质量的中文数据，包括文本、对话、新闻、社交媒体帖子等。
考虑语言的特点，如词序、语法结构、多义性等，并设计相应的预训练任务。
使用适合中文的语言模型架构，如BERT 或GPT, 并进行适当的调整以优化性能。
考虑中文的特殊字符和标点，确保模型能够正确处理这些字符。
进行多任务学习，同时训练多个相关任务，以提高模型的泛化能力。