Head vs breakz

[arxiv] - A Primer in BERTology: What we know about how BERT works 본문

ARXIV

[arxiv] - A Primer in BERTology: What we know about how BERT works

headbreakz 2020. 2. 29. 11:46

https://arxiv.org/abs/2002.12327v1

 

A Primer in BERTology: What we know about how BERT works

Transformer-based models are now widely used in NLP, but we still do not understand a lot about their inner workings. This paper describes what is known to date about the famous BERT model (Devlin et al. 2019), synthesizing over 40 analysis studies. We als

arxiv.org

Transformer-based models 모델은 NLP에서 많이 사용하는데, 여전히 내부 작동에 대해서는 이해 할수가 없다. 여기서는 40개의 분석 연구를 종합하여, 유명한 BERT 모델(Devlin et al. 2019)를 설명한다. 모델과 훈련 체계에 대해 개선될 수정에 대한 개요를 제공한다. 그리고 추가 연구를 위한 방향을 제시한다.

저작자표시 비영리

'ARXIV' 카테고리의 다른 글

ArXiv 논문 정리 BLOG  (0) 2020.03.02
[arxiv] - Improving Siamese Networks for One Shot Learning using Kernel Based Activation functions  (0) 2020.03.02
[arxiv] - Machine Learning in Python: Main developments and technology trends in data science, machine learning, and artificial intelligence  (0) 2020.03.02
[arxiv] - On Feature Normalization and Data Augmentation  (0) 2020.03.01
'ARXIV' Related Articles more
Comments