图形深度学习Introduction

发表于

CG

1. CG中的表达

  • 图片 像素
  • Volume（体） 体素
  • Meshes 点、边、面
  • 动画 骨骼、
  • 点云
  • 物理仿真

2. 计算机图形中的问题

  • Analysis
    • 特征检测(图形特征和point features): \(R^{m\times m} \to Z\)
    • 去躁,光滑。。。: $R^{m\times m} \to R^{m\times m}$
    • Embedding, Distance computation: $R^{m\times m, m\times m} \to R^d$
  • synthesis
    • 渲染: $R^{m\times m} \to R^{m\times m}$
    • 动画: $R^{3m \times t} \to R^{3m}$
    • 物理仿真: $R^{3m \times t} \to R^{3m}$
    • 产生模型: $R^d \to R^{m \times m}$

3. 目标:学会一个参数化函数

\[f_\theta : X \to Y\] \[\theta: 函数参数，X: `source\ domain`(源空间), Y: 目标空间, 这是需要学习到的\]

例子

  • 图形分类
\[f_\theta: R^{w\times h\times c} \to \{0, 1,2,..., k-1\}\] \[w\times h\times c: 图形的维度，长、宽、通道；k: 类别数\]
  • 图形合成

\(f_\theta: R^n \to R^{w\times h\times c}\) \(n: latent variable count；w\times h\times c:图形的维度，长、宽、通道\)

4. 数据驱动算法

  • 监督算法 12
  • 非监督算法 12

5. 端到端

学习特征

  • Old days:
    • 手动提取特征
    • 大多数使用线性模型（例如PCA)
  • Now:
    • 端对端
    • 避免使用手动标记表达形式 end-to-end end-to-end

      学习损失

  • Old days:
    • 最后再进行评估
    • 有一点可以选择
      • 你可能有一个很好的算法但是没有一个很好的方法去评估
      • 评估有助于发表文章（？？）
  • Now:
    • 损失很重要并且是组成的重要部分
    • 如果损失不好那么你的结果也不好
    • （扩展）评估一般自动发生

Real/Generated Data

  • Old days
    • 在一些toy例子上进行测试
    • 部署在实际的物体上
    • 可能最后才收集到一些结果数据
  • Now:
    • Test and deploy need to be as identical (in distribution)
    • Need to collect data first
    • No two steps