拿下技术面上传简历

你要做一个“线稿生成上色图”的条件生成模型,训练数据是成对的(线稿, 彩色图)。推理时用户给的线稿与训练分布有偏移:笔触更粗、局部断线缺失。请回答:① 你会选 pix2pix 类条件 GAN 还是条件扩散,判断依据是什么;② 条件信息怎么注入(latent 拼接 / cross-attention / 旁路 zero-conv 注入),各自代价是什么;③ 针对分布偏移,你在训练侧和推理侧分别做什么,怎么量化偏移带来的退化。

CV 与多模态图像生成1-3 年知识点 1 个

面试官在考什么

判断能否按任务特性(配对数据、输出是否多解、延迟预算、偏移鲁棒性)选择条件生成范式,并把条件注入方式讲到实现与代价层面。

条件生成

回答框架 · 前两步

  1. 选型依据:要求像素级对齐、结构保真、配对数据充足且延迟敏感时,pix2pix 类 cGAN 加 L1/perceptual loss 可行;需要更强多样性、对局部断线与笔触偏移更鲁棒、可接受较慢采样时,条件扩散更稳。核心看输出是否唯一解、不确定区域要不要给多解、推理预算。
  2. 条件注入方式:① 与噪声 latent 在通道维拼接,结构约束强但条件利用较浅、难配合 classifier-free guidance;② cross-attention 把条件作为 K/V,适合文本等全局语义,局部结构保持较弱;③ 旁路编码器 + zero-conv 逐层注入主干,兼顾空间结构保持与基座先验复用,代价是额外参数与显存。三者可组合。

还有 3 条答案要点、 3 层追问、 5 个常见坑, 以及针对你简历的追问路径,在定制报告里。

上传简历,生成我的题库先看示例报告

延伸阅读

想看这个方向的整体准备路线? 进入「CV 与多模态」方向页

同一能力域的其他题