课程

2022中科大暑期课程Physics-based Differentiable Rendering

CVPR2021 Tutorial

SIGGRAPH2020 Course

领域内活跃的学者

Shuang Zhao

Wenzel Jakob

Tzu-Mao Li

Sai Praveen Bangaru

论文

* 以纯基于物理的可微渲染为主，想了解更多与AI相关的可能得自己去找找

光线追踪可微化

• Differentiable Monte Carlo Ray Tracing through Edge Sampling

  • SIGGRAPH ASIA 2018
  • 可微光追的开篇作，方法暴力低效，思想可以看看

• Reparameterizing Discontinuous Integrands for Differentiable Rendering

  • SIGGRAPH Asia 2019
  • 重参数化方法的开篇作

• Path-Space Differentiable Rendering

  • SIGGRAPH 2020
  • 路径空间方法的开篇作

• Unbiased Warped-Area Sampling for Differentiable Rendering

  • SIGGRAPH Asia 2020
  • 重参数化方法的完善版，上面那篇SIGA2019的一般形式

光线追踪可微化的优化

• 优化可微渲染reverse mode的存储和计算开销

  • Radiative Backpropagation: An Adjoint Method for Lightning-Fast Differentiable Rendering

    • SIGGRAPH 2020

  • Path Replay Backpropagation: Differentiating Light Paths using Constant Memory and Linear Time

    • SIGGRAPH 2021

• 加速边界项估计

  • Efficient Estimation of Boundary Integrals for Path-Space Differentiable Rendering

    • SIGGRAPH 2022

• 降方差

  • Antithetic Sampling for Monte Carlo Differentiable Rendering

    • SIGGRAPH 2021
    • 降低路径空间方法计算中的内部项估计方差

  • Monte Carlo Estimators for Differential Light Transport

    • SIGGRAPH 2021
    • 优化可微光传输过程中Monte Carlo估计

  • Recursive Control Variates for Inverse Rendering

    • SIGGRAPH 2023
    • Control Variates在逆渲染中的应用

可微光追的扩展

• Participating Media的可微渲染

  • A Differential Theory of Radiative Transfer
  • Path-Space Differentiable Rendering of Participating Media

• Volume的可微渲染

  • Unbiased Inverse Volume Rendering with Differential Trackers
  • Efficient Path-Space Differentiable Volume Rendering With Respect To Shapes

• Mesh的可微渲染

  • Large Steps in Inverse Rendering of Geometry

• Reconstruction Filter的可微渲染

  • Efficient Differentiation of Pixel Reconstruction Filters for Path-Space Differentiable Rendering

• SDF的可微渲染

  • Differentiable Rendering of Neural SDFs through Reparameterization
  • Differentiable Signed Distance Function Rendering
  • Physics-Based Inverse Rendering using Combined Implicit and Explicit Geometries

• Transient Rendering的可微渲染

  • Transient Rendering

• Time-Gate Rendering的可微渲染

  • Differentiable Time-Gated Rendering

• 半透明物体的可微渲染

  • Reconstructing translucent objects using differentiable rendering

可微光追的应用

• 优化材质与光照

  • Material and Lighting Reconstruction for Complex Indoor Scenes with Texture-space Differentiable Rendering

• 优化几何与材质

  • Unified Shape and SVBRDF Recovery using Differentiable Monte Carlo Rendering

• 与神经网络相结合的逆渲染

  • Neural-PBIR Reconstruction of Shape, Material, and Illumination

• 与机器人强化学习相结合

  • SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering

开源

自动微分框架

• autodiff

  • C++模板实现，使用方便，效率较低

• Enzyme

  • LLVM自动微分扩展，仅支持Linux
  • 使用一个魔法函数实现自动微分，适合将已有的渲染器改造为可微渲染器

• drjit

  • Mitsuba3使用的库，也发了论文Dr.Jit: A Just-In-Time Compiler for Differentiable Rendering
  • 所有操作都基于Array结构，以方便进行流处理器任务的调度执行和自动微分
  • 效率很高，但初上手容易反直觉，可读性也较差

• LuisaCompute

  • 并不是一个自动微分框架，而是一个流处理器架构的Unified Interfaces（图形API和CUDA/Optix的RHI）
  • 适合用来代替CUDA/Optix/Vulkan/DX等不好上手的GPU编程工具，提供更高效的GPU编程体验
  • 自动微分尚未成为LusiaCompute的核心功能之一，仍在完善中，可以观望

可微光追渲染器

• redner

  • Edge Sampling初代机
  • https://github.com/BachiLi/redner/tree/experimental Warped-Area Sampling的官方实现
  • 可读性较差，不适合用于学习

• PSDR系列

  • psdr、psdr-vol

    • 一样的代码结构，使用作者手搓的simpleAD轮子进行自动微分
    • 集成了初代PSDR和PSDR优化参与介质的算法
    • 代码工整规范，适合学习

  • psdr-cuda

    • PSDR的CUDA版
    • 功能较少，integrator只有direct，使用enoki(drjit前身)作为自动微分库
    • 集成了PSDR边界积分的优化方法

  • psdr-enzyme

    • PSDR的enzyme版
    • 功能最多，基本涵盖shuang zhao组的所有项目算法
    • 但难以编译成功

• Mitsuba系列

  • mitsuba2

    • 基于enoki，已停更

  • mitsuba3

    • 基于drjit，对Python支持很好
    • 代码规范，然而由于基于drjit，可读性较差在所难免
    • 文档也相对完善，tutorial值得一跑