Inference-time Physics Alignment of Video Generative Modelswith Latent World Models

Abstract

• Video generation의 physics plausibility 개선 문제를 inference-time alignment로 다룬다
• 특히 latent world model의 physics prior를 이용

1. Introduction

2. Methodology: WMReward

2.2. Steering for Better Physics Plausibility

$$
p^{*}(x) \propto w(x)p(x),
$$

• $p(x)$는 pre-trained video model distribution
• $w(x)$는 reward $r(x)$로부터 구축된 weighting function

2.3. Latent World Model Reward Signal

• 본 논문에서는 VJEPA를 Reward model로 바꾸기 위해 단순한 직관을 사용
• [직관]
• V-JEPA는 월드 모델이므로, 물리적으로 타당한 영상에서는 주어진 과거로부터 미래를 비교적 잘 예측할 수 있어야 한다.
• 따라서 V-JEPA가 예측한 미래와 생성 영상에서 실제로 나타난 미래가 크게 다를수록, 해당 영상은 물리적으로 부자연스러울 가능성이 크다고 판단한다.

• VJEPA는 context frames $x^{k-C+1:k}$를 관측하고,
• Future frames $x^{k-C+K+M}$에 대한 representation을 예측해야한다.
• 즉 아래 두 식이 유사해야한다. ($\hat{z_k} = z_k$)

$$
\hat{z}k = P{\phi}\left(\Delta_m, E_{\theta}\left(x^{k-C+1:k}\right)\right),
$$

$$
z_k = E_{\theta}\left(x^{k-C+1:k+M}\right).
$$

• 그렇게 되면 r(x)를 아래와 같이 구할 수 있다.
  • $\mathcal{K}$는 모든 windows

$$
r(x) = \frac{1}{|\mathcal{K}|}
\sum_{k \in \mathcal{K}}
\left(1 - \cos\left(\hat{z}_k^{\mathrm{fut}}, z_k^{\mathrm{fut}}\right)\right),
$$

2.4. Instantiation of Sampling Schemes

(i) Guidance ($\nabla$)

$$
\nabla_{x_t} \log p_t(x_t)
+
\nabla_{x_t} \log
\mathbb{E}\left[
e^{\lambda r(x_0)}
\mid x_t
\right].
$$

(ii) Best-of-N Search (BoN)

• 같은 프롬프트에 서로 다른 초기 노이즈, 즉 서로 다른 seed를 사용하여 여러 영상을 생성

$$
x^{*}
=
\underset{x \in {x^{(i)}}_{i=1}^{N}}{\arg\max}
, r(x).
$$

(iii) $\nabla$+ BoN

3. Experiments

3.1. Image and Multiframe-conditioned Generation

Comparing Reward Signals.

• latent world model에 담긴 physics knowledge가 보상 신호로 활용되어 비디오 생성 성능을 향상시킬 수 있음을 보여줌

 

 

 

---

Reference

 

https://arxiv.org/abs/2601.10553

Inference-time Physics Alignment of Video Generative Models with Latent World Models