GPT-4o 图像生成架构被"破解"了！
最近一阵，，东谈主们随之兴趣：
4o 图像生成的架构底层逻辑到底是什么？GPT-4o 究竟强在哪？存在哪些短板？
当作解答，北京大学、中山大学等多家科研机构共同推出GPT-ImgEval，初次系统评估了 GPT-4o 在图像生成上的的确阐扬。
这份量化评估基准不仅囊括了生成质地、剪辑才妥洽知识推理，还尝试揭示GPT-4o 背后的可能架构，还探讨了它生成图像的可检测性问题。
底下具体来看。
GPT-4o 架构揭秘：可能使用了扩散 + 自追想混杂有缱绻
GPT-ImgEval 团队尝试"反向破解"GPT-4o 的图像生成架构。
磋商团队在论文中提议了 4 种候选架构有缱绻（见下图），尽管细约莫有不同，但有极少是一致的：GPT-4o 很可能继承的是自追想骨干 + 扩散头的混杂结构。
泛泛来说，它的职责经过可能是这么的：文本或指示→ 自追想模块衔尾语义 → 生成中间视觉 Token → 扩散模子将这些 Token 解码成图像。
天然，架构估量不行仅靠假想。为此，磋商团队遐想了一套严谨的实证瓜代：
先选取一组长入的文本教唆（prompt），区分使用自追想模子（VAR）和扩散模子（Diffusion）各自生成 1 万张图像当作对比样本；
运用这些图像教练一个二分类器，让它学会识别图像是" AR 格调"依然" Diffusion 格调"；
然后，用一样的 Prompt 交给 GPT-4o 生成图像，将这些图像输入该分类器进行识别。
也等于说，统统这个词过程中，教唆词保持有余一致，只看不同模子生成的图像"长得像谁"，以此判断 GPT-4o 的生成方式更接近哪类结构。
终结很径直：GPT-4o 生成的图像简直一王人被识别为"扩散格调"，这就从图像格调维度考证了 GPT-4o 的确可能用了扩散模子当作解码器。
除了对视觉解码器的分析，磋商东谈主员也深切探讨了视觉编码方式。他们指出，一些磋商（如 UniTok）合计基于向量量化（VQ）的编码器可能会收缩模子的语义衔尾才调。
因此，作家合计淌若继承了 pixel encoder，其大略率是一语气（非 VQ）的而不是翻脸（VQ）的，并基于此提议了四种可能的好意思满架构暗意图。
三大维度全面评估 GPT-4o 图像才调
GPT-ImgEval 聚焦三类中枢任务，对 GPT-4o 进行了系统评估：
文本生成图像（GenEval）：通过对物体数目、样式、位置、组合属性等细粒度维度进行测评，考证模子对文本的衔尾与图像的构造才调。
指示剪辑图像（Reason-Edit）：模拟用户给出修改指示后，模子在保留图像语义基础上进行局部剪辑的才调，如替换、删除、变色等。
基于寰宇知识的语义合成（WISE）：考试模子是否能将对寰宇学问、文化配景、科学旨趣等知识的确"显性化"为图像输出。
为了补助这一系统评估，磋商团队开采了一套针对 GPT-4o 的自动化交互剧本，措置了现时该模子尚未灵通图像生成 API 的践诺问题。
这套剧本径直与 GPT-4o 网页界面交互，模拟的确用户行为：
自动输入教唆词（Prompt）、点击提交
自动捏取生成图像并存储存档
每次恳求会新开浏览器窗口，确保不同任务之间高低文不相互插手
补助任务批量启动，可完了大范畴、可访佛的图像生成任务诊治
最终，GPT-ImgEval 的全体职责流如下图所示：
在文本生成图像（GenEval）任务中，GPT-4o 得到了0.84 的总得分，越过当今统统扩散类与自追想类图像生成模子。
尤其在以下几项中阐扬凸起：数目截止（0.85）、样式绑定（0.92）、空间位置（0.75）、属性组合（0.61）。
下图是一些 GPT-4o 使用 GenEval 基准中的 prompt 生图的具体例子：
而在图像剪辑任务（Reason-Edit）中，GPT-4o 得分高达0.929，率先第二名越过 0.35，证实其在指示衔尾和局部截止上阐扬极其庄重。
在知识合成（WISE）任务中，GPT-4o 一样大放异彩，多个子维度（生物、文化、物理等）得分均越过 0.9，总分 0.89，远高于现时开源模子（多量在 0.4~0.5 之间）。
这证实 GPT-4o 具有雄壮的寰宇知识和推理才调，这应该是收获于 GPT-4o 这种长入多模态框架。
更多磋商论断 GPT-4o vs Gemini 2.0 Flash：多轮剪辑对比
磋商团队还对 GPT-4o 与 Google 的 Gemini 2.0 Flash 进行了多轮图像剪辑对比。
除了性能与架构机制，GPT-4o 在本色的使用体验中也展现出了强盛的竞争力。磋商团队对其与 Google 最新发布的 Gemini 2.0 Flash 进行了多轮剪辑任务的实测对比。
GPT-4o 补助好意思满的多轮对话式剪辑经过，高低文一致性强
Gemini 反馈速率更快，但每轮需从头上传图像，空泛一语气性
在一语气修改、复杂指示衔尾、图像语义保持方面，GPT-4o 阐扬出更高的庄重性
从全体趋势来看，两者在剪辑轮数增多后均出现一致性下跌，但 GPT-4o 下跌更缓，保持更稳。
GPT-4o 与 Gemini 2.0 Flash 多轮剪辑一致性对比如下图所示：
这一双比终结也进一步考证了：交融大模子语义衔尾才调的图像生成系统，在交互式创作任务中，正在展现出压倒性上风。
GPT-4o 仍存五大问题，图像量化评估并非无解
磋商团队总结出 GPT-4o 现时的五个常见生成难点：
无法严格保持原图尺寸与边框比例，偶而会自动裁切或缩放
强制锐化，即使用户条目生成暗昧图，也会被模子"优化"成高清
剪辑偏暖、全图色调变化，即使只修改小部分，可能全图色调致使是全局都会被一定进程修改
复杂场景失真，多东谈主或东谈主 - 物体交互场景易出现姿态不天然或结构繁芜
非英文文本补助较弱，如中语标志常出错，难以在复杂配景准确生成
这些问题不仅影响使用体验，也教唆咱们—— GPT-4o 仍在追求"天然感"与"精确截止"之间寻找均衡。
这些图像能被检测出来吗？
除了感知层面的不雅察和评估，磋商团队进一步念念考一个要津问题：GPT-4o 生成的图像，是否果然不错"以伪乱真"？
为此，磋商者使用多个主流图像取证模子，对 GPT-4o 生成的图像进行了系统性评估。
终结露出，包括 Effort、FakeVLM 在内的多种检测器，对 GPT-4o 图像的识别准确率多量越过 95%，最高接近 99.6%。
不单是停留在数值层面，磋商团队还对量化评估收效的原因进行了机制层面的归因分析：
GPT-4o 可能在图像生成过程中引入了超分辨率模块，通过上采样插值导致彰着伪影
模子有过度锐化与细节增强倾向，视觉后果虽然"精采"，却留住了被取证模子捕捉的陈迹
在用户未条目修改时，仍可能出现尺寸、颜色的隐性变化，松懈了图像一致性
GPT-4o 生成图像色调多量偏暖，整躯壳调趋同，易被量化评估模子成就"格调识别模式"
可量化评估，并非缺欠，而是 AIGC 安全遐想的基线才调
磋商团队合计，是否可量化评估，不应成为筹办生成模子才调强弱的规范，而应被视为评估其可控性与安全性的蹙迫见解。
在将来的 AIGC 系统遐想中，"传神"天然蹙迫，但"可识别"、"可跟踪"一样不可或缺。GPT-4o 生成图像中的伪影、颜色偏好等特征，也恰是鼓吹生成量化评估磋商的蹙迫碎裂口。
这也恰是 GPT-ImgEval 的各异化亮点之一：不仅作念量化评估，更从安全机制的角度进行深切会诊和前瞻探索。
GPT-4o 很强，但"结尾"远未到来
GPT-ImgEval 不仅考证了 GPT-4o 在图像生成上的上风，更指出了它仍需碎裂的短板。尤其是在可控性、多语种处理、局部剪辑庄重性等方面，仍有不少升迁空间。
GPT-ImgEval 不仅系统性考证了 GPT-4o 在图像生成、图像剪辑与知识合成三大任务中的率先阐扬，更进一步揭示了其架构特征、失败模式与安全规模。
该磋商不仅在评测维度上完了了笼罩频频、量化精确，也从架构判别、剪辑可控性、多轮衔尾才妥洽伪影检测等多个层面，对 GPT-4o 进行了技能全景式会诊。
磋商团队合计，该职责的蹙迫意思意思在于：
1、提供系统化多模态评估范式：初次从"生成 - 剪辑 - 推理"全经过启航，成就轮廓图像才调测试框架；
2、鼓吹闭源模子的"可评释评测"磋商：在无法走访模子细节的前提下，成就架构估量和行为归因机制；
3、强调通用多轮剪辑场景的实用价值：用用户视角考证语义衔尾一致性与细节保真性，为交互遐想落地提供参考；
4、补王人图像生成安全性磋商缺口：通过可检测性实证，发现图像中的上采样 / 超分伪影、颜色特征，鼓吹 AIGC 取证技能演进。
更多细节宽宥查阅原论文。
一键三连「点赞」「转发」「提神心」
宽宥在指摘区留住你的想法！
— 完 —
学术投稿请于职责日发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
你是谁，从哪来，投稿内容
附上论文 / 风光主页相接，以及干系方式哦
咱们会（尽量）实时恢复你
� � 点亮星标 � �
科技前沿进展逐日见欧洲杯体育