Artificial Intelligence

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 논문 한글 번역 - 5

BERT논문을 직역 및 의역으로 작성한 내용입니다. 4 Experiments는 다음 컨텐츠를 이용바랍니다. https://ynebula.tistory.com/58 5 Ablation Studies 이번 섹션에서 우리는 상대적인 중요성을 좀 더 이해하기 위해서 BERT를 다양한 측면에서 ablation experiments를 수행하였습니다. 추가적인 ablation 연구는 부록 C에서 확인할 수 있습니다. 5.1 Effect of Pre-training Tasks 우리는 같은 pre-training data와 fine-tuning scheme 그리고 hyperparamters를 사용하는 두 pre-training objectives를 평가하여 DBER의 deep bidirectionality 중요성을 설명..

Artificial Intelligence 2020. 2. 1. 13:08

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 논문 한글 번역 - 4

BERT논문을 직역 및 의역으로 작성한 내용입니다. 3 BERT는 다음 컨텐츠를 이용바랍니다. https://ynebula.tistory.com/55 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 논문 한글 번역 - 3.1-3.2 BERT논문을 직역 및 의역으로 작성한 내용입니다. 3.1 Pre-training BERT Peter et al(2018a), Radford et al(2018)과 다르게, 우리는 BERT를 pre-train하기 위해 traditional left-to-right or right-to-left lan.. ynebula.tistory.com 4 Experiments 이번 Sectio..

Artificial Intelligence 2020. 1. 30. 22:00

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 논문 한글 번역 - 3

BERT논문을 직역 및 의역으로 작성한 내용입니다. 2 Related Work은 다음 컨텐츠를 이용바랍니다. https://ynebula.tistory.com/54 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 논문 한글 번역 - 2 BERT논문을 직역 및 의역으로 작성한 내용입니다. 이전 BERT는 다음 컨텐츠를 이용바랍니다. https://ynebula.tistory.com/53 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.. ynebula.tistory.com 3. BERT 우리는 BERT와 자세한 구현..

Artificial Intelligence 2020. 1. 27. 20:59

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 논문 한글 번역 - 2

BERT논문을 직역 및 의역으로 작성한 내용입니다. BERT Abstract 는 다음 컨텐츠를 이용바랍니다. https://ynebula.tistory.com/53 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 논문 한글 번역 - 1 BERT논문을 직역 및 의역으로 작성한 내용입니다. Abstract 새로운 language representation model BERT를 소개합니다. BERT는 Transformer의 Bidirectional Encoder Representations을 사용합니다. 최근 language.. ynebula.tistory.com 2 Relate Work 일반 언어 표현 사전훈련은..

Artificial Intelligence 2020. 1. 27. 20:57

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 논문 한글 번역 - 1

BERT논문을 직역 및 의역으로 작성한 내용입니다. Abstract 새로운 language representation model BERT를 소개합니다. BERT는 Transformer의 Bidirectional Encoder Representations을 사용합니다. 최근 language representation model들과 달리, BERT는 모든 layer에서 양방향(left and right) context에서 공동으로 조절하여 unlabeled text에서 pre-train deep bidirectional representations으로 설계되었습니다. Pre-trained BERT은 output layer를 하나를 추가해서 fine-tune할 수 있습니다. 실제 task-specific 구조..

Artificial Intelligence 2020. 1. 27. 20:54

[Deep Learning - 딥러닝]수학 배경 지식(벡터, 행렬, 연쇄법칙, 합성함수, 미분, 기울기)

이번 포스팅은 딥러닝을 이해하기 위해 선행학습으로 수학 내용을 정리했습니다. 수학에 대한 깊이 있는 내용 보다는 간단한 정의 위주로 정리했으며, 깊은 내용은 타 사이트를 참고 바랍니다. Vector and Matrix: 벡터와 행렬 벡터는 크기와 방향을 가진 양입니다. 벡터는 숫자가 일렬로 늘어선 집합으로 표현할 수 있으며, 파이썬에서 1차원 배열로 numpy.array()함수를 이용해 처리할 수 있습니다. 행렬은 숫자가 2차원 형태(사각형 형상)로 파이썬에서 numpy.array()함수를 이용해 처리할 수 있습니다. Dot product: 벡터의 내적 벡터의 내적은 두 벡터에서 대응하는 원소들의 곱을 모두 더한 것입니다. 벡터의 내적의 수식은 다음과 같습니다. 벡터의 내적은 ‘두 벡터가 얼마나 같은 방..

Artificial Intelligence 2019. 9. 21. 12:48

[Deep Learning - 딥러닝]MNIST Classification - 손글씨 분류기 소스 구현

이번 포스팅은 MNIST 구현에 대해서 알아보겠습니다. MNIST 정의는 https://ynebula.tistory.com/43 포스팅을 참고바랍니다. Archtecture 이미지 데이터의 크기가 28*28 입니다. 딥러닝 구현이므로 은닉층을 2개로 구성하고 첫 번째 필터는 32개 두 번째 필터는 64개로 구성합니다. 은닉층 활성화 함수를 ReLU를 사용하며, 분류를 위해 Softmax() 함수를 사용합니다. Souce 구현 컨볼루션 계층을 구현하기 위해 다음 두 개 라이브러리 임포트가 필요합니다. 텐서플로 1.7.0 버전에서부터는 샘플 데이터를 다운로드하는 기능이 제외될 예정이라는 경고가 발생합니다. 대신 케라스(Keras)를 사용하여 MNIST 데이터를 다운받습니다. 배치 데이터를 만들기 위해 파이썬..

Artificial Intelligence 2019. 9. 19. 22:12

[Deep Learning - 딥러닝]MNIST Classification - 손글씨 분류기 소스 구현

이번 포스팅은 MNIST 구현에 대해서 알아보겠습니다. MNIST 정의는 https://ynebula.tistory.com/43 포스팅을 참고바랍니다. MNIST 구현을 위해 다음 두 개 라이브러리 임포트가 필요합니다. MNIST의 데이터는 텐서플로에서 제공합니다. 그래서 따로 다운로드 할 필요 없이 임포트해 사용하면 됩니다. 하지만 텐서플로 1.7.0 버전에서부터는 샘플 데이터를 다운로드 하는 기능이 제외될 예정이라는 경고가 발생합니다. 대신 케라스(Keras)를 사용하여 MNIST 데이터를 다운받기를 권장해 드립니다. 데이터 셋의 구성을 확인해보겠습니다. training 데이터는 (60000, 784) 되어 있습니다. 첫 번째 차원은 각 이미지에 대한 인덱스이며 두 번째 차원은 이미지 안의 픽셀 수를..

Artificial Intelligence 2019. 9. 14. 12:58

페이징

1 2 3 4

티스토리툴바