AI 学高数达到 MIT 本科水平
发布时间：2022-01-04 14:51:44 所属栏目：动态 来源：互联网
导读：让语言模型做数学题，有多难？强如 GPT-3，在 9-12 岁的小学数学上，第一次才考 20 多分。去年底 GPT-3 用上新方法努力了很久终于拿到 55 分，可惜还是没及格。 万万想不到啊，2022 年才刚开始，突然有人宣布他们的模型掌握了高数，达到 MIT 本科水平。AI 学
|
让语言模型做数学题，有多难？强如 GPT-3，在 9-12 岁的小学数学上，第一次才考 20 多分。去年底 GPT-3 用上新方法努力了很久终于拿到 55 分，可惜还是没及格。 万万想不到啊，2022 年才刚开始，突然有人宣布他们的模型掌握了高数，达到 MIT 本科水平。AI 学了 6 门 MIT 本科基础数学课里随机抽取的例题，都是网上就有的公开课，包括： 单变量微积分 (课程编号 18.01) 多变量微积分 (18.02) 微分方程 (18.03) 概率与统计入门 (18.05) 线性代数 (18.06) 计算机科学中的数学 (6.042) 那么 AI 最后学到什么水平呢？6 门课程每门随机出 25 道题，再加上一个 ACT 水平（美国高考）的数据集里的 60 道题。总计 210 道题，AI 全部答对。题目包括需要求出具体数值的，比如菌落繁殖的经典问题。 最后为了证明训练出来的 AI 没有过拟合，还额外加试了一场应用线性代数 (COMS3251)。这门课不是公开课，网络上根本没有，也就是说 AI 在预训练阶段不可能接触到，结果 AI 也掌握了。 要知道在短短几个月前，AI 还在挣扎于“小明种了 5 颗柠檬树，每年从每棵树上得到 6 个柠檬，10 年间他总共得到多少柠檬”这样的问题。 短短几个月，从小学数学跨越到了高等数学。这项来自 MIT + 哈佛 + 哥伦比亚大学 + 滑铁卢大学的联合研究开了什么挂？ 来自 MIT + 哈佛 + 哥伦比亚大学 + 滑铁卢大学的联合研究 对于 AI 也是审题最重要 研究团队发现以前用 AI 做数学题的尝试有一个共同点：训练数据里只有文本。这简直是 AI 中的文科生，学不好数学也算正常。 那么 AI 中的理科生要怎么培养？研究团队的解决思路是先在文本上做预训练，再用代码进行微调。核心思想是把数学问题转换成等价的编程问题。 他们找来的这位 AI 理科生与 GPT-3 师出同门 ——OpenAI 的 Codex，也是 GitHub 代码生成工具 Copilot 背后的技术基础。 Codex 解题的过程分两步：先审题，再作答。第一步，自动生成需要的上下文，把题干扩充、缩减或改写成适合编程解决的样子。第二步，生成对应的代码，运行后给出答案。比如补充自然语言题干中隐藏着的问题语境“在微分方程中”。 Codex 解题 列好解题需要用到的 Python 库。 （编辑：温州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
热点阅读