跳到内容
Klang
首页 版块 最新 热门 标签 文档
登录

大模型 tuning的几种方法

已定时 已固定 已锁定 已移动 AI研究
1 帖子 1 发布者 564 浏览
正在加载更多帖子
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • A
    asmcos 管理员
    最后由 编辑

    除了Instruction Tuning,还有其他的tuning方法,例如:

    Fine-tuning:一种利用人工标注的数据来微调大模型的方法,目的是提高模型在特定任务或领域上的性能和安全性。Fine-tuning通常只能针对特定任务或领域进行微调,而不能跨越多个任务或领域12。
    Prompt-tuning:一种利用短文本字符串来指导大模型生成响应的方法,目的是发掘模型本身具备的知识和生成能力。Prompt-tuning可以提供上下文和任务相关信息,以帮助模型更好地理解要求,并生成正确的输出。Prompt-tuning可以在没有精调的模型上也能有一定效果,但是需要设计精巧的prompt123。
    Chain-of-thought:一种处理复杂问题或执行多步骤任务的技巧,通常用于大型预训练语言模型中。Chain-of-thought允许模型在多个步骤中生成连贯的回答,从而更好地解决问题或完成任务。Chain-of-thought可以结合prompt或instruction来指导模型生成输出1。
    如果您想了解更多关于tuning方法的相关知识,您可以参考以下网页:

    实际案例说明AI时代大语言模型三种训练技术及其区别——Prompt-Tuning、Instruction-Tuning和Chain-of-Thought
    Instruction Tuning|谷歌Quoc V.Le团队提出又一精调范式
    打开模型Zero-Shot新范式:Instruction Tuning

    1 条回复 最后回复
    回复 引用 0

    你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

    厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

    有了你的建议,这篇帖子会更精彩哦 💗

    注册 登录
    • 第一个帖子
      最后一个帖子
    Klang(金浪)AI量化论坛 klang.org.cn 行情 讨论仅供研究,不构成投资建议