Tech
[分享创造] 发布 Foveon - 通过深度学习将 Bayer 图像转换为 Foveon X3 风格的 Mac 应用程序
训练了一个改造过的 U-Net ,把 Bayer-CFA 拍的照片转换成 Foveon X3 传感器风格的成像 —— 也就是 Sigma DP2 Merrill 那种味道(三层光电二极管堆叠传感器,每个像素都直接采集完整 RGB ,不存在去马赛克插值)。 关键的新增是一个一维「像素三层堆叠注入层」( 1D pixel-stack injection layer ),拼接在编码器和解码器之间的 bottleneck 上,用来编码 Foveon 传感器能采到、而 Bayer 采不到的那一列 B·G·R 光电二极管堆叠结构。 训练是端到端的,配对数据来自同一场景:Bayer 相机和一台 DP2 Merrill 三脚架并排同步拍摄,单应性( homography )对齐之后切成 256×256 小块。损失用 L1 + VGG 感知损失 + 一个小幅 TV 平滑约束;优化器 AdamW ,余弦学习率衰减,混合精度,在单张 24 GB GPU 上训练。 训练过程中我没预料到的一个发现是:注入层的位置非常敏感。放在 bottleneck 才有效;放得再前面一点,编码器会学着直接把这个先验忽略掉...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX