Skip to content

关于插帧任务中损失函数的疑问 #141

Description

@YueChao-98

作者你好,感谢你为社区所做的开源工作,关于在训练插帧模型的损失函数方面 有些问题想向你请教。

我目前采用的模型也是类似RIFE这种无预训练光流模块的插帧模型,实验发现:

1)用Laplacian Loss会使模型在小物体细节上建模得更好(比如滚动的字幕),但容易出现奇怪的光流错误;
2)用L1 Loss + Vgg Loss组合 则在插帧效果上更稳定,很大程度缓解了光流出错的概率,但在小物体细节上会有退化。

我的理解是LapLoss更让模型更关注于高频细节的建模,但忽略了低频信息。请问你怎么看待这两种损失的偏好,以及在Practical-RIFE中抛弃了LapLoss的原因?

此外,我试图融合这1)2)两种损失的优点(简单的加权融合),但发现模型貌似难以收敛(加权后的PSNR都低于 单独用其中一种损失),感觉两者之间似乎存在某种对抗?想请问你有何建议。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions