AI 模仿五官，视频诈骗要防不住了；字节联合中科大提出多模态文档大模型；一张照片，TikTok 小姐姐就都能跳舞了｜句子资讯

【AI行业速看】

• 全球首个开源多模态医疗基础模型：人工打分平均超越 GPT-4V、支持 2D/3D 放射影像；

• 突破分辨率极限，字节联合中科大提出多模态文档大模型；

• 动画视频生成这几天火了，一张照片，TikTok 小姐姐就都能跳舞了；

• 微软仅凭「提示工程」让 GPT-4 成医学专家！超过一众高度微调模型，专业测试准确率首次超 90%；

• 五官乱飞，张嘴、瞪眼、挑眉，AI 都能模仿到位，视频诈骗要防不住了；

• 微调都不要了？3 个样本、1 个提示搞定 LLM 对齐；

01  全球首个开源多模态医疗基础模型：人工打分平均超越 GPT-4V、支持 2D/3D 放射影像

GPT4 等一系列大型基础模型的迅猛发展突破了人工智能技术的边界，为众多垂直领域带来了新的发展机遇和挑战。在医学领域，构建强大而全面的基础模型，可以为临床医疗任务提供更为智能、高效的解决方案，为医护人员和患者创造更为优质的医疗体验，开启医学领域技术创新的新篇章。本文中，上海交大 & 上海 AI Lab 发布 Radiology Foundation Model （RadFM），开源 14B 多模态医疗基础模型，首次支持 2D/3D 放射影像输入。

02  突破分辨率极限，字节联合中科大提出多模态文档大模型

现在连文档都有大模型了，还是高分辨率、多模态的那种！不仅能准确识别出图像里的信息，还能结合用户需求调用自己的知识库来回答问题。比如，看到图中马里奥的界面，直接就回答出了这是任天堂公司的作品。这款模型由字节跳动和中国科学技术大学合作研究，于 2023 年 11 月 24 日上传至 arXiv。在此研究中，作者团队提出 DocPedia，一个统一的高分辨率多模态文档大模型 DocPedia。点击图片查看详细内容

03  动画视频生成这几天火了，一张照片就都能实现跳舞

前几日，阿里研究团队构建了一种名为 Animate Anyone 的方法，只需要一张人物照片，再配合骨骼动画引导，就能生成自然的动画视频。不过，这项研究的源代码还没有发布。其实在 Animate Anyone 这篇论文出现在 arXiv 上的前一天，新加坡国立大学 Show 实验室和字节联合做了一项类似的研究。他们提出了一个基于扩散的框架 MagicAnimate，旨在增强时间一致性、忠实地保留参考图像并提升动画保真度。并且，MagicAnimate 项目是开源的，目前推理代码和 gradio 在线 demo 已经发布。

04  微软仅凭「提示工程」让 GPT-4 成医学专家！超过一众高度微调模型，专业测试准确率首次超 90%

微软最新研究再次证明了提示工程的威力——无需额外微调，无需专家策划，仅凭提示，GPT-4 就能化身“专家”。使用他们提出的最新提示策略 Medprompt，在医疗专业领域，GPT-4 在 MultiMed QA 九个测试集中取得最优结果。在 MedQA 数据集（美国医师执照考试题）上，Medprompt 让 GPT-4 的准确率首次超过 90%，超越 BioGPT 和 Med-PaLM 等一众微调方法。

05  五官乱飞，张嘴、瞪眼、挑眉，AI 都能模仿到位，视频诈骗要防不住了

来自慕尼黑工业大学等机构，他们提出了 GaussianAvatars，这种方法可用来创建在表情，姿态和视角（ viewpoint ）方面完全可控的逼真头部虚拟（ head avatars）。该研究表示，在计算机视觉和图形学中，创造可以动的人类虚拟头部一直存在挑战，特别是，极端的面部表情和细节，如皱纹、头发等这些细节都很难捕捉，生成的虚拟人物很容易出现视觉伪影。点击图片查看详细内容

06  微调都不要了？3 个样本、1 个提示搞定 LLM 对齐

大模型的效果好不好，有时候对齐调优很关键。但近来很多研究开始探索无微调的方法，艾伦人工智能研究所和华盛顿大学的研究者用「免调优」对齐新方法超越了使用监督调优（SFT）和人类反馈强化学习（RLHF）的 LLM 性能。

句子互动致力于打造由大模型驱动的下一代对话式营销云，通过 AI+RPA 技术，句子互动可以打通企业微信、飞书、5G 消息、WhatsApp 等不同的 IM，是国内第一家将大模型落地于营销场景的公司。基于企业数据，句子互动可以为企业训练专属领域的知识库，并对接到不同 IM 里。聚焦解决营销场景上的问题，如售前转化、IP 塑造、销售转化、售后转化、提高客服效率等。句子互动也是全球最大的对话式 RPA 开源框架 Wechaty 的商业化公司。

（AI对话未来丨智能写作对话）

声明：本网站所收集的部分公开资料来源于互联网，转载的目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。本站部分作品是由网友自主投稿和发布、编辑整理上传，对此类作品本站仅提供交流平台，不为其版权负责。如果您发现网站上所用视频、图片、文字如涉及作品版权问题，请第一时间告知，我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除内容，以保证您的权益！联系电话：010-58612588 或 Email:editor@blueai.net.cn。