计算机视觉:关键点检测、画质提升

📁机器学习📆2023-05-16 🤯PH 👀798 次浏览

1、关键点检测

花名:关键点定位/对齐/keypoint alignment

输入:包含目标的图像,如人脸图像、人体图像、手部图像等

输出:一组预定义的关键点位置(人脸五官,人体关节,手指关节等)

2、算法分类

regression法:直接回归关键点坐标(DeepPose、MTCNN、MobileNet)

+模型简单,可导

+计算量小,速度快

+更好的连续性和稳定性

-容易过拟合(CNN)

-空间泛化能力弱

heatmap法:网络预测heatmap(Hourglass、Openpose、HRNet、ResNet)

+充分利用空间信息(相邻点、前景点背景点等),精度更高

-计算量和内存开销大

-argmax带来量化误差,模型不可导

Top-Down法:(RMPE、CPN、CFN、HRNet)

+效果优于bottom-up

-受限于目标检测结果

Bottom-Up法:(OpenPose、ResNet)

+单模型过程简单

-背景噪声影响较大,效果一般

3、数据集

计算机视觉:关键点检测、画质提升-BtoAI 波特埃
计算机视觉:关键点检测、画质提升-BtoAI 波特埃
计算机视觉:关键点检测、画质提升-BtoAI 波特埃

4、底层视觉应用

  • 图像超分辨率
  • 图像上色
  • 图像补全
  • 图像修复

画质增强:

https://www.modelscope.cn/topic/8b8663973dae426099e49d77951ad027/pub/summary

计算机视觉:关键点检测、画质提升-BtoAI 波特埃

5、LAB色彩空间

计算机视觉:关键点检测、画质提升-BtoAI 波特埃

使用 Lab 色彩空间的几个好处:

  • 可以在最终预测中保留灰度通道。科学事实:我们眼睛中94%的细胞接受亮度,剩下6%感受颜色。正如在上页图像中看到的,灰度图像比彩色层清晰得多。
  • 预测 RGB 三通道 -> 预测 ab 两通道,学习难度降低
  • Lab 基于人对颜色的感觉设计,它是感知均匀(perceptual uniform)的。Perceptual uniform 的意思是,如果数字(即前面提到的 L、a、b 这三个数)变化的幅度一样,那么它给人带来视觉上的变化幅度也差不多

6、图像上色算法研究

CNN based

• CIC

• InstColor

• DeOldify

GAN Inversion based

• GCP

Transformer based

• ColTran

• CT2

• ColorFormer

• DDColor

7、图像上色实战

DeOldify 图像上色:https://www.modelscope.cn/models/damo/cvunetimage-colorization/summary

DDColor 图像上色:https://www.modelscope.cn/models/damo/cvddcolorimage-colorization/summary

更多文章

反向传播(Backpropagation)算法

反向传播算法是一种用于训练神经网络的算法,其作用是根据网络的输出和期望输出之间的误差,来更新网络中的权重和偏置,从而提高网络的性能。

📁 机器学习 📆 2023-10-06
反向传播(Backpropagation)算法
回到顶部