Introduction 심심하기도 하고 그냥 궁금해서, 우도함수 기반 모델들 VAE, DDPM, FM 을 비교해보려고 한다. 음.. 3가지 모델을 간단하게 설명하자면.. VAE는 데이터의 분포에서 잠재 공간으로 압축하고, 다시 잠재 공간에서 다시 원본 데이터 분포로 복원하도록 학습하는데, 이때 잠재 변수에 대한 적분이 불가능하여 실제 데이터의 우...

Flow Matching For Generative Modeling Flow Matching For Generative Modeling Introduction 이 논문에서는 Flow Matching, FM 이라는 개념을 통해, 기존 Continuous Nomalizing Flows, CNFs (우리가 NICE, realNVP 에서 봤던거,...

Density Estimation Using Real NVP Density Estimation Using Real NVP Introduction 이 논문은 거의 전에 살펴본 NICE 논문의 내용과 거~의 비슷해서, 이빠이 생략할 것이다. 음.. NICE 에서는 Additive coupling layers 를 통해 레이어의 Jacobian...

Flow Matching For Generative Modeling NICE: Non-Linear Independent Components Estimation Introduction 이 논문은 여타 다른 생성형 모델과 마찬가지로, 데이터 분포를 가우시안 분포와 같은 알기 쉬운 분포로 매핑하는데, 이를 함수 $f$ 로 나타낸다면, 이 함수의...

Attention Is All You Need Attention Is All You Need Introduction 이 논문은 당시에 사용하던 RNN, CNN 기반의 모델이 아닌 새로운 seq2seq 모델의 아키텍처를 제시한다. 여기서 seq2seq 모델은 시퀀스를 입력으로 받고 시퀀스를 출력하는 모델로, 이 논문에서 그랬듯이, 기계 번...

High-Resolution Image Synthesis with Latent Diffusion Models High-Resolution Image Synthesis with Latent Diffusion Models Introduction 기존 Diffusion model, DM은 우도함수 기반의 모델로, 뛰어난 성능을 보였다. 하...

Score-based Generative Modeling Through Stochastic Differential Equations Score-based Generative Modeling Through Stochastic Differential Equations Introduction DDPM 과 NCSN 두 논문을 이전에 살펴봤는데, ...

Generative Modeling by Estimating Gradients of the Data Distribution Generative Modeling by Estimating Gradients of the Data Distribution Introduction 이 논문에서는 생성형 모델에서 우도함수 기반 (ex. VAE) 이나 A...

Denoising Diffusion Probabilistic Models Denoising Diffusion Probabilistic Models Introduction 좁은 엘레베이터 안, 누군가 방귀를 뀌었다. 방귀 분자는 공기 중으로 무질서하게 퍼지기 시작하고, 이내 엘레베이터 내부 전체를 가득 채운다. 아무튼 물리학에서는 이러한 ...

Auto-Encoding Variational Bayes Auto-Encoding Variational Bayes Introduction 이전에 GAN에선, 모델 $G$가 생성하는 분포 $p_{g}$를 실제 데이터의 분포 $p_{\text{data}}$에 가까워지도록(근사하도록) 학습 목표를 잡았었다. 여기서 이미지라는 시각 데이터를 왜 ...