论文秒变海报!开源框架PosterAgent一键生成顶会级学术Poster
相比GPT-4o,PosterAgent生成指标更优,同时token使用量减少87%,还只需要0.0045美元,就可将22页的论文转化为可编辑的 “.pptx” 终稿海报。
来自滑铁卢大学的联合研究团队,还精心构建了首个学术海报评估标准Paper2Poster,解决了长上下文、多模态压缩的评估空白。
显然学术海报三要素(吸睛标题、重点突出、色彩排版),GPT-4o-image通通都没有。
视觉更连贯、信息还高效,难怪连已经毕业了的师兄师姐们都在X上哭诉,凭什么我们当年没有它。
这下妈妈再也不用担心我做不好Poster,被老板在群里夺命call了(狗头)。
Poster在学术会议里的重要性不言而喻,需要让与会者在几分钟内就迅速从中掌握核心内容,这就很考验制作者的论文浓缩能力,以及文本和图形的排版功底。
为了帮大家解放双手,以及更一目了然地评估海报效果,研究团队提出了评估基准Paper2Poster以及基于此构建的多智能体框架PosterAgent。
Paper2Poster的数据包含100对AI领域论文和作者设计的海报,涵盖计算机视觉(19%)、自然语言处理(17%)和强化学习(10%)等子领域的280个不同主题,论文平均22页,生成海报的文本压缩比约为14.4倍,图形减少比约为2.6倍。
视觉质量:使用CLIP图像嵌入测量生成海报与作者设计海报之间的视觉相似度,再计算图像和文本的相关性,以确保图像属于有效整合。文本连贯性:计算文本在Llama-2-7b-hf下的标准困惑度(PPL),衡量文字流畅度。整体评估:选择一个VLM(如GPT-4o),从美学(元素质量、布局平衡、参与度)信息(清晰度、完整性、逻辑流)两个方面进行1到5分打分。PaperQuiz:这是团队专门设计的评估指标,以模拟作者和读者的交流。让代表不同专业水平(例如学生和教授)的VLMs阅读每张海报并回答测验,获得最高平均分的海报被认为在传达论文内容方面最有效。
根据Paper2Poster的要求,团队设计了一个采用自上而下设计理念的多智能体流程PosterAgent。
首先全局地将整个文档重组为简洁、连贯的章节,然后进行局部精炼,以实现颗粒度对齐。
解析器(Parser):将工具和基于LLM的摘要相结合,提取关键文本和视觉内容,生成结构化摘要库(如各章要点、重要图表)规划器(Planner):匹配文本与图表,并用二叉树布局策略将其连贯排列,通过放大(zoom-in)机制迭代生成面板。绘制器-评论器(Painter-Commenter):绘制器将内容转为简洁的要点列表和用于渲染的可执行代码,而VLM作为评论器提供布局反馈,确保整体连贯性和避免溢出。超越GPT-4o?
眼见为实,为验证PosterAgent生成效果,研究人员用Paper2Poster评估了四类基线方法:
实验结果表明,在视觉质量和文本连贯性上,虽然4o-Image达到了最高的视觉相似度,但它也记录了最差的困惑度,说明生成的海报可能乍一看吸引人,但实际细看全是嘈杂或不连贯的文本。
PosterAgent则实现了最高的图形相关性,在视觉相似度上也紧随人类设计的海报。
当VLM评判时,PosterAgent-4o的平均得分为3.72,达到了与人类设计海报相当的水平,而PPTAgent因为经常生成无意义的文本或大片空白区域,因此得分都较低。
值得注意的是,PosterAgent-4o虽然依据GPT-4o实现了冗长输出,但基于开源的Qwen-2.5系统变体在原始准确率上更胜一筹,说明PaperQuiz在评估时,内容量很重要,但呈现质量更重要。
这张来自GPT-4o-image,看起来好像还行?但是仔细看文字,里面还是有不少乱码。
最后是咱们的PostAgent,对比下来,海报结构清晰明了,图表与文字匹配度也相当高,在视觉效果上更接近作者设计的海报。
所以感兴趣的小伙伴们速速收藏起来这个海报神器~接下来的CVPR、ACL刚好都可以用上。
@BETHASH6