YeonjeeJung's Blog

2008년 [Abtract] 이 논문에서 제안하는 t-SNE는 Stochastic Neighbor Embedding의 변형으로, 데이터의 여러 다른 스케일의 구조를 잘 표현하는 단일 맵을 만들 수 있는 방법이다. [1] Introduction 이전에도 차원을 축소해서 데이터의 관계를 보여주는 연구들은 있었는데, 선형 방법과 비선형 방법이 있다. 차원을 축소하는 방법은 기본적으로 고차원 데이터의 구조를 최대한 보전하는 데에 있다. 선형...

2019년 [Abstract] 이 논문에서는 멀티에이전트 환경에서 상대방의 정책이 바뀌더라도 여전히 일반화에 강인한 deep reinforcement learning (DRL) 에이전트를 만드는 것에 중점을 두었다. 또한 이를 위해 새로운 MiniMax Multi-agent Deep Deterministic Policy Gradient (M3DDPG)를 제안한다. 그리고 제안된 식을 효율적으로 풀기 위해 이들은 Multi-Agent Adversarial Learning (MAAL)을 제안한다. [1] Introduction agent 각각의 RL...

2015년 [Abstract] 딥러닝 네트워크는 각 layer의 input의 분포가 학습 도중 계속 바뀌기 때문에 어려워진다. 이를 internal covariate shift라고 하는데, 이 논문에서는 이 문제를 layer input을 정규화하므로써 해결했다. 이렇게 하면 더 큰 lr을 사용할 수 있고, 초기화에 덜 민감해진다. 또한 regularizer의 역할을 해서 Dropout등이 필요없게 된다. [1] Introduction SGD는 input의 작은...

2017년 [Abstract] 이 논문에서는 cyclical learning rate를 제시하는데, 이 방법은 적당한 boundary값 사이를 왔다갔다 한다. 이 적당한 boundary를 찾는 방법 또한 제시하는데, learning rate을 몇 epoch동안 계속 늘려보는 방법으로 찾을 수 있다. [1] Introduction 이 논문에서는 훈련 중에 learning rate을 계속 바꾸는 것이 훈련에 이득이라는 것을 증명했다. 또한 CLR을 이용하면...

[Abstract] 시공간 데이터가 많이 쓰이고 있는데, 이때 데이터의 질이 다양할 수 있다. 이는 잘못하면 신뢰도가 떨어지는 예측으로 이어질 수 있고, 이는 블랙박스인 딥러닝에서는 치명적일 수 있다. 따라서 이 논문에서는 데이터의 질을 자동으로 알려주는 해결책을 제시한다. [1] Introduction 여러 다른 센서의 사용으로 데이터에 다양한 노이즈가 낄 수 있고, 따라서 네트워크의 성능...