Any-Way Meta-Learning

Abstract

• 기존 메타러닝은 fixed cardinality (5way 1shot, 5way-5shot)를 사용했기 때문에, 다양한 cardinality를 가진 tasks에 직면할 때 모델의 성능이 저하됐다
  
  
• 본 논문에서는 “true” meta-learning이 무엇인지 질문함으로써, “any-way” learning paradigm을 도입
  • fixed cardinality constraint로부터 model을 해방하는 접근법을 제시

Introduction

메타러닝은 두 가지 main approach가 존재

• ProtoNet과 같이 effective feature extractor 만드는데 집중하는 연구
• model을 위한 suitable initialization point를 만드는 것을 목표로 하는 연구

두가지 approach 모두 episode 훈련 방법을 사용하는데, episode 훈련 방법은 모델을 계속 new tasks에 노출시켜서 model이 제한된 훈련 데이터만으로도 학습 능력을 개선하는데 도움을 줌.

 

이러한 episode 훈련 방법은 인간이 학습하는 방법을 모방

 

그러나 인간이 다양한 클래스 개수를 분류하는 유연한 능력을 가진 것과 대조적으로 현재 학습 모델은 엄격하게 fixed ‘way’로 제한 (5way..)

 

그렇기에 메타러닝 모멜의 적응 능력은 다양한 ‘way’ setting에 따라 눈에 띄는 결핍(glaring deficiency) 을 보임

 

 

그렇기에 true ‘any-way’ learning을 달성하기 위해서

본 연구는 label equivalnce의 개념을 기반으로 ‘any-way’ meta-learning 방법을 제안

 

이 때 각 tasks의 class 수와 classifier의 output 차원을 어떻게 matching 할지 potential problem가 발생한다.

Method

• 먼저, model의 output dimension $O$를 tasks’ label sets의 최대 cardinality보다 크게 설정
  • 이 것은 model이 어떠한 cardinality를 가진 tasks도 handle할 수 있게 함(i,e., any-way meta-learning)
• 그리고 classification을 위해서 모든 node에 numeric label을 할당

 

그리고 $N$ classes를 가진 tasks에 대해서, $J=[O/N]$의 set을 구성

 

예를 들어 eight classifier node인데 tasks가 3개의 category를 가진다면, 3개의 numeric classes를 갖는다.

$s_1=[3,5,2]^T, s_2=[7,4,8]^T$ 그리고 node 1,6은 할당되지 않는다.

 

 

---

Reference

https://arxiv.org/abs/2401.05097

Any-Way Meta Learning