JM's Research

AbstractFew shot learning 분야에서 Finetuning stage는 novel dataset이 부족하여 overfitting문제가 생긴다본 논문에서는 이를 다루기 위해, data scarcity issue를 완화하는데 도움이 되는 Sample을 생성하기 위한 manifold mixup을 사용Naive mixip과 달리, 본 논문은 uncertainty-based criteria을 사용하여 hard mixup을 선택1 Introduction[문제정의]Few shot learner에는 (1) episodic training과 (2) transfer learning이 있다Data scarcity는 feew shot learning에 fundamental issue이다최근 Semi-super..

보호되어 있는 글입니다.

좋은 문장The goal of few-shot learning is not to recognize a fixed set of labels but to learn how to quickly adapt to new tasks with a small amount of training data.For a unified taxonomy, we refer the reader to [4, 38].Abstract본 논문에서는 kernel과 hypernetwork paradigm의 fusion인 Hypershot 을 제안기존 gradient를 기반으로 parameter를 조정하는 접근방식과 비교하여,본 논문의 모델의 목표는 task’s embedding에 따라 classification module을 switch하는 것..

Abstract기존 메타러닝은 fixed cardinality (5way 1shot, 5way-5shot)를 사용했기 때문에, 다양한 cardinality를 가진 tasks에 직면할 때 모델의 성능이 저하됐다본 논문에서는 “true” meta-learning이 무엇인지 질문함으로써, “any-way” learning paradigm을 도입fixed cardinality constraint로부터 model을 해방하는 접근법을 제시Introduction메타러닝은 두 가지 main approach가 존재ProtoNet과 같이 effective feature extractor 만드는데 집중하는 연구model을 위한 suitable initialization point를 만드는 것을 목표로 하는 연구두가지 app..

Abstract기존 Data-free meta-learning (DFML)은 1) White-box 2) small-scale pre-trained model 3) same architecture 상황만 고려했다arbitrary model architecture를 고려하지 않음이 문제를 극복하고자 Bi-level Data-free Meta knowledge Distillation(DiDf-MKD)를 제안구체적으로 API에 query하여, API의 훈련 데이터를 recover하고novel bi-level meta knowledge distillation structure를 통해 메타학습을 수행특히 이 설계는 decision boundary 근처에 있는 좀 더 유익한 query set을 recovery하는 ..

Abstract전통적인 메타러닝은 모든 meta-knowledge를 specific tasks에 적용이 것은 Adaptation process에서 high-computational cost를 유발본 논문에서는 모든 meta-knowledge를 adaptation하는 것이 아니라, meta-knowledeg extraction을 소개 ()(UAPML) Uncertainty-Aware Prompted Meta-LearningLearnable Bayesian meta-prompt를 사용하여 ideal initialization을 제공posterior uncertainty of the Bayesian을 이용해서 task-specific prompt의 구성을 조절본 논문에서는 두 가지 방식(soft and har..

좋은 문장During meta testing, several N-way K-shot tasks arrive together, which are called the target tasks.The classes ap pearing in the target tasks have never been seen during both pre-training and meta training.The support set is used for adapting the meta initialization to the specific task.Abstract1. Introduction2. Related Works3. Problem Setup4. Methodology본 논문에서는 DFML을 해결하기 위해서 PURER 방법론을 제시..

AbstractData-Free Meta_learning(DFML)은 data 없이 pre-trained models 집합으로부터 knowledge를 추출하는 것이다.이는 data privacy와 같은 문제에 실용적이다.최근 DFML 방법은 여러 pre-trained model로부터 data-recovery에 집중했다하지만 그들은 1) 낮은 recovery speed와 2) pre-trained model들 사이에 heterogeneous를 간과했다따라서 본 논문에서는 FREE Framework를 제안Free framework는 1) pre-trained model로부터 빠르게 training tasks를 복구하는 meta-generator와 2) new unseen tasks에 일반화하기 위한 Meta..

AbstractDNN은 human-designed stochastic optimization 알고리즘을 사용하여 훈련된다최근에 network parameter를 최적화하는 것을 학습하는 접근법이 등장했다그러나 Learned black-box optimizer는 human-designed optimizer의 경험을 이용하기 어려워서 일반화 성능이 낮다이 논문에서 새로운 optimizer인 HyperAdam을 제안하는데, HyperAdam은 “learning to optimze”와 traditional Adam optimizer를 결합하는 방법론이다.HyperAdam은 AdamCell, WeightCell, StateCell로 구성된 LSTM Network이다.1 Introduction본 논문에서는 netw..

AbstractMeta-learning은 많은 tasks로부터 meta-knowledge를 학습한다그러나 stochastic meta-gradient는1) 각 tasks로부터 data를 sampling하고2) 전체 task distribution에서 task를 sampling하기 때문에큰 variance를 가진다따라서 본 논문에서는 Reptile과 같은 first-order meta-learning 알고리즘에 variance reduction을 통합하는 접근법을 제안meta-learning 구조인 bilevel firmulation 형태를 유지general bilevel variance reduction methods와 다르게 많은 task-specific parameter를 요구하지 않음1. Intro..