Layer Normalization(논문 읽기)

Layer Normalization과 Understanding and Improving Layer Normalization논문에서 필요한 내용들만 간단히 요약하여 정리하였습니다. 자세한 내용은 원문을 꼭 참조해주세요.

논문

• BA, Jimmy Lei; KIROS, Jamie Ryan; HINTON, Geoffrey E. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.
• XU, Jingjing, et al. Understanding and Improving Layer Normalization. In: Advances in Neural Information Processing Systems. 2019. p. 4383-4393.