우니Blog

BERT논문을 직역 및 의역으로 작성한 내용입니다. A Additional Details for BERT 는 다음 컨텐츠를 이용바랍니다. https://ynebula.tistory.com/60 C Additional Ablation Studies C.1 Effect of Number of Training Steps Figure 5은 checkpoint를 fine-tuning 후 MNLI Dev accuracy를 나타냅니다. checkpoint는 k step번 pre-train되었습니다. 이것은 다음과 같은 의문이 생깁니다. 1. Question BERT는 높은 fine-tunning accuracy를 얻기 위해 pre-training으로 그렇게 큰 양(128,000 words/batch * 1,000,0..

논문분석 2020. 2. 11. 20:48

BERT논문을 직역 및 의역으로 작성한 내용입니다. 5 Ablation Studies는 다음 컨텐츠를 이용바랍니다. https://ynebula.tistory.com/59 Appendix for "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" 세개의 섹션으로 구성하였습니다. Appendix A. BERT 추가 구현법을 작성함. Appendix B. 우리의 경험. Appendix C. ablation 연구 : Training Steps의 Number의 효과. : 여러 Masking Procedures 의 Ablation A Additional Details for BERT A.1 Illustration of..

논문분석 2020. 2. 11. 20:32

Attention Is All You Need논문을 직역 및 의역으로 작성한 내용입니다. Abstract Dominant sequence transduction mode은 encoder와 decoder를 가지고 있는 complex recurrent or convolutional neural network 구조로 되었습니다. 최고의 성능 모델 역시 attention mechanism을 이용한 encoder and decoder로 연결되어 있습니다. 오직 attention mechanism으로 구성된 간단한 구조 Transformer를 제안합니다(recurrence and convolution은 제외함). 두 기계번역의 실험은 병렬처리와 훈련 시간 감소되면서 더 좋은 품질을 냈습니다. 1. Introduct..

논문분석 2020. 1. 5. 15:13