LanMT已上线与ChatGPT翻译质量对比,欢迎体验
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
ChatGPT的火已经蔓延全球,似乎就在那么一刻,点燃了各行各业对其技术应用的探讨与展望。大家都想基于自己的行业属性在ChatGPT上做加法,甚至乘法,以此来缩短与未来的距离。
对于LanMT,亦或机器翻译,我们该怎样结合ChatGPT去放大价值?
首先,让我们看下ChatGPT有哪些令人惊艳的能力?
目前为止,已知ChatGPT会做且做得不错的工作:撰写文案、编写脚本、论文写作、小说创作、代码编程、分析报告、排查系统Bug……ChatGPT各类技能点拉满,实打实的“六边形战士”。而这也是其为何能如此惊艳世人的重要原因之一――十项全能型选手。
譬如,以色列总统艾萨克・赫尔佐格已率先尝试过用ChatGPT来撰写大型会议演讲稿件。再譬如,89%的美国学生用ChatGPT写作业,更有学生因ChatGPT写出的论文拿到满分。更令人惊喜的是,在对话ChatGPT时输入知乎体――以“你不会真的以为”为开头的小说?ChatGPT在几秒钟内,就反馈出了一篇短篇小说。虽然故事非常狗血老套,但整体结构完整。在翻译领域,它更是无所不能。
你可以让他充当一个译员,并给他提一些要求。
图1 充当译员可以帮忙润色“机翻味儿”浓厚的机翻译文:
图2 文本润色修改可以充当质量监督员,帮我们检查译文中的低级错误:
图3 检查数字低错等等……
ChatGPT的机翻给你的感觉它不再是一个冰冷的机器,而是一个贴心的助手,它可以生成更符合你要求的译文,甚至可以帮助你做一些检查、释义、润色的工作。整体用下来,发现它生成的无论是文本还是译文,“机器”的味道不再那么浓厚。
ChatGPT的机翻效果与主流商业机翻系统相比如何?
ChatGPT能力这么强,那么它做翻译任务的水平怎样呢?对比传统的商业机器翻译系统(如Google、DeepL以及我们语言桥自研的LanMT)来说,孰优孰劣?
首先我们找到了来自腾讯翻译团队的定量测评结果1,他们使用机器翻译领域常用的测试集,使用BLEU、TER等自动化评测指标对 Google、DeepL与ChatGPT的翻译结果进行了定量的评测。总体结论是Google、Deepl等商业机翻系统在各种自动评测指标上还是优于ChatGPT。
与此同时,我们内部也邀请了一些比较有经验的译员,通过体验和对比ChatGPT和我们内部使用的LanMT的机翻效果,也得出了一些主观的结论。中英,对比的机翻 ChatGPT、Deepl和LanMT。从整体人工评测的结果来看:
中译英:Deepl>LanMT>合格水平>ChatGPT
英译中:LanMT>Deepl>合格水平>ChatGPT
其实仔细思考,这样的评测或许不太公平,由于ChatGPT是一个对话模型,为了保证生成答案的多样性,每次结果是 从模型中“随机采样(Sample)”出来的,而商业的机器翻译引擎大多是通过“束搜索(【【淘密令】】)”解码出来的,是模型的最优解。
更进一步来讲,传统的机翻评测大都是从句子级别来进行评测的,而显然ChatGPT对于文档以及上下文的理解能力应该会更强,如果使用文档级别的翻译任务来进行测评,在上下文一致性以及涉及到依赖上下文信息进行理解的文本上,ChatGPT应该会有更好的效果。
由于商业系统针对机器翻译这一个任务做了很多特定的优化,搜集构造了更多有监督的数据,而ChatGPT仅仅通过多任务学习,以及有限的翻译任务监督信号达到了这个效果,还是非常惊艳的。
对于译员来说,有哪些机会?
通过上面的讨论和分析ChatGPT的机器翻译效果在准确度、忠实度方面甚至没有达到常用的商用机器翻译系统的水准,并没有对翻译和普通机翻产生更进一步的颠覆,还是需要人来做质量管理,对最终的译文结果进行编辑和校对。
对于译员来说,对于这样一个人工智能的时代,对于机器翻译、ChatGPT这种产品的出现,不应该因为畏惧而排斥使用它们,而是应该拥抱它们,了解它们,使得它们成为提升自己工作效率的有利工具。
举例来说,我们一位资深的译员同事,在尝试了ChatGPT后,就发掘出了一些新的玩法:
图5 询问“拎包入住”的地道表达
通过与AI的互动,以及最后的校对,快速获得了一个常用语的准确英文表达。在此之前,直接通过搜索引擎进行搜索筛选是很难达到这个速度和效率。
ChatGPT不仅给我们带来了冲击,同时也给我们带来了惊喜。回到最初的问题,作为深耕于机器翻译领域的LanMT,我们该如何与ChatGPT结合?在LanMT技术团队努力下,我们先做了第一步的“加法”。
LanMT文本翻译已上线与ChatGPT翻译质量对比,欢迎体验,让我们一起去感受新技术的魅力。
LanMT官网:
使用方法:
LLaMA快速上手指南: 便捷构建“本地版ChatGPT”
近期,Meta发布了人工智能大语言模型LLaMA,包含70亿、130亿、330亿和650亿这4种参数规模的模型。其中,最小的LLaMA 7B也经过了超1万亿个tokens的训练。
本文我们将以7B模型为例,分享LLaMA的使用方法及其效果。
这一部分,我们将step by step,展示LLaMA的使用流程。
以7B模型文件为例,包含内容如下:
git clone https://github.com/facebookresearch/llama.git cd llama pip install -r re【【微信】】pan>.txt pip install -e
如下示例中,相关操作均可通过IDP终端进行。
在IDP的cell中运行如下代码,即可和LLaMA对话,接收LLaMA的回答啦!
对于7B模型:
TARGET_FOLDER=.. torchrun --nproc_per_node 1 example.py --ckpt_dir $TARGET_FOLDER/7B --tokenizer_path $TARGET_FOLDER/tokenizer.model
对于13B模型:
TARGET_FOLDER=.. torchrun --nproc_per_node 2 example.py --ckpt_dir $TARGET_FOLDER/13B --tokenizer_path $TARGET_FOLDER/tokenizer.model
对于不同大小的LLaMA模型文件,上述命令需要调整的为TARGET_FOLDER中模型文件的名称和node参数。
让我们来进行两个简单的问答测试。
Prompt 1:
Building a website can be done in 10 simple steps
LLaMA 7B模型的回答如下:
Prompt 2:
Please write a beautiful love poem
LLaMA 7B的模型回答如下:
LLaMA对这个提示词问题,自行增加了一些场景预设,如“I need some new poems for my birthday(为庆生,我需要一些新诗)"。
输入或调整提示词prompt,可在example.py文件中的prompts部分进行调整,如下图所示。
关于这两个对话示例,我们也同样放上ChatGPT的答案,供大家对比参考。
LLaMA推出3天后,Nebuly AI的初创AI企业在LLaMA的基础上,基于RLHF(基于人类反馈的强化学习)进行训练,打造了对标ChatGPT的ChatLLaMA。nebullvm/apps/【【微信】】/chatllama at main ・ nebuly-ai/nebullvm ・ GitHub
ChatLLaMA声称训练过程比ChatGPT快15倍。同时,支持【【微信】】 ZERO,可以加快微调速度。
【【微信】】是一个开源的深度学习训练优化库,ZeRO是一种显存优化技术,用于提高大型模型的训练效率,如提高训练速度,降低成本和提高模型可用性等。
但ChatLLaMA并不提供LLaMA的模型权重,根据其license,也不可以商用。
正如文章标题所说,本文不仅是指南哦。
我们在IDP开源的AI IDE中,增加了LLaMA和【【微信】】的示例文件,小伙伴们可以快速开启LLaMA体验之旅。
项目地址: