JM's Research

Abstractaligment problem?this paper proposes diffusion latent beam search with estimatorwhich can select a better diffusion latent to maximize a given alignment reward at inference time.This paper point out that improving video quality with respect to alignment to prompts requires reward calibration by weighting existing metrics.1 IntroductionRecently, it has attracted a lot of attetion to 1) st..

AbstractVideo generation의 physics plausibility 개선 문제를 inference-time alignment로 다룬다특히 latent world model의 physics prior를 이용1. Introduction2. Methodology: WMReward2.2. Steering for Better Physics Plausibility$$p^{*}(x) \propto w(x)p(x),$$$p(x)$는 pre-trained video model distribution$w(x)$는 reward $r(x)$로부터 구축된 weighting function2.3. Latent World Model Reward Signal본 논문에서는 VJEPA를 Reward model로 바꾸기 ..

Abstract.정지 이미지에 애니메이션 효과를 추가하는 것은 매력적인 visual experience를 제공본 논문에서는 open-domain images에 대한 dynamic content의 생성을 탐구한다핵심 아이디어는, test-to-video diffusion model의 motion prior를 이용하여 image를 생성 과정에 통합하는 것주어진 이미지를 Query Transformer를 이용하여 text-aligned rich image context representation로 project한다그리고 좀 더 정확한 이미지 정보를 보충하기 위해서, full image를 initial noise에 concatenating한다1 Introduction최근에 text-to-video(T2V) ge..

AbstractText-conditioned image-to-video generation (TI2V)는 주어진 image와 text description으로 시작하여 realistic video를 생성하는 것이 목표기존 TI2V framework는video-text dataset으로 costly training과text and image conditioning을 위한 specific model design이 필요했다이 논문에서는 zero-shot, tuning-free method인 TI2V-zero를 제안한다어떠한 optimization, fine-tuning, exteral module 없이pre-trained text-to-video(TI2V) diffusion model에 제공된 이미지에 따라 ..

AbstarctModelScopeT2V는 spatio-temporal block을 통합하여 consistent frame을 생성하고 smooth motion 전환을 보장모델은 프레임 수가 변하더라도 적응할 수 있도록, image-text and video-text에 적합ModelScopeT2V는 VQGAN, text encoder, denoising UNet을 함께 사용1 IntroductionVideo 생성의 주요 문제는 sub-optimal fidelity and modtion discontinuity에 있다ModelScopeT2V는 비디오 생성을 위한 trainable baseline을 제안ModelScopeT2V는 Stable Diffusion model의 spatial part를 초기화하여 Sp..

Abstract본 논문에서는 pretrained text-to-image diffusion model에 공간 조절 제어 (spatial conditioning controls)를 추가하는 neural network architecture인 ControlNet을 제안ControlNet은 large diffusion model을 lock하고, encoding layer를 복사하여 다양한 conditional control을 학습한다Neural Network는 “zero convolution” (zero-initialized convolution layers) 을 사용하여 parameter를 zero로부터 점진적으로 update한다이렇게 하여 harmful noise가 finetuning에 영향을 주지 않도록..

AbstractText-driven diffusion models이 이미지 생성에 좋은 성능을 보였지만, Video 생성에서는 temporal modeling의 과도한 학습 비용 때문에 성능이 좋지 않음training burden과 더불어서, 생성된 비디오는 appearance inconsistency and structural flickers (외관 불일치 및 구조적 깜박임)를 겪는다이 문제를 다루기 위해서, 본 논문에서는 ControlNet을 채택하여 input motion sequnce로부터 structure consistency를 유지하는 ControlVideo를 제안Self-attention module에 fully cross-frame attention interation을 추가[참고]1. D..

Predicted clean image는 본질적으로 저주파(구조)를 담는다noise prediction componen는 고주파 정보를 담는다

Abstract본 논문에서는 stable diffusion과 과 같은 text-to-image 방법론을 이용하여 새로운 task인 zero-shot text-to-video generation을 제안text-to-image 방법론의 핵심 수정은generated frames의 global scene과 background time consistent를 유지한다그리고 frame-level self-attention을 제안하는데, 이 방법론은 첫번째 프레임에 대한 각 프레임의 cross-frame attention을 구하여 foreground object의 context, appearence를 보존한다 1. Introductiontextual prompts로부터 video를 생성하는 zero-shot, trai..

Abstract수면 아래 이미지 복원은 실용적이면서도 복잡한 기술로, 수중 로봇공학 및 수중 물체 추적과 같은 분야에 광범위하게 적용됨그러나 기존 방법론은 physical properties과 수중 이미지 mechanism을 고려하지 않아, 디퓨전 모델의 정보 완성 능력을 제한본 논문에서는 Physics knowledge로 diffusion process를 guide하는 PD-Diff를 제안PA-DIFF는 아래 3가지 Branch로 구성Physics Prior Generation (PPG) BranchImplicit Neural Reconstruction (INR) Branch,Physics-aware Diffusion Transformer (PDT) Branh3 METHODOLOGY3.1 Overall..