우니Blog

이번 포스팅은 MNIST 구현에 대해서 알아보겠습니다. MNIST 정의는 https://ynebula.tistory.com/43 포스팅을 참고바랍니다. Archtecture 이미지 데이터의 크기가 28*28 입니다. 딥러닝 구현이므로 은닉층을 2개로 구성하고 첫 번째 필터는 32개 두 번째 필터는 64개로 구성합니다. 은닉층 활성화 함수를 ReLU를 사용하며, 분류를 위해 Softmax() 함수를 사용합니다. Souce 구현 컨볼루션 계층을 구현하기 위해 다음 두 개 라이브러리 임포트가 필요합니다. 텐서플로 1.7.0 버전에서부터는 샘플 데이터를 다운로드하는 기능이 제외될 예정이라는 경고가 발생합니다. 대신 케라스(Keras)를 사용하여 MNIST 데이터를 다운받습니다. 배치 데이터를 만들기 위해 파이썬..

Artificial Intelligence 2019. 9. 19. 22:12

이번 포스팅 주제는 역전파관련 내용입니다. 선행학습으로 경사하강법이 필요하므로 https://ynebula.tistory.com/14 포스팅 내용 학습이 필요합니다. 다층 신경망은 입력층과 출력층 사이에 여러 은닉층이 있는 신경망 구조를 가진 신경망입니다. 지도학습은 정답과 모델의 예측값을 비교한 오차를 기준으로 가중치를 조정합니다. 다층 신경망에서는 은닉 노드의 오차값 확인이 필요한데 이때 사용되는 방법이 역전파 알고리즘입니다. 역전파 알고리즘은 다층 신경망을 학습 방법입니다. (Learning representation by back-propagating error) 역전파(backpropagation) 알고리즘은 1986년에 개발되었습니다. 역전파 알고리즘의 아이디어는 은닉층 노드들의 오차를 확인하..

Artificial Intelligence 2019. 8. 6. 21:05

Single neural network의 가장 대표적인 문제점으로 XOR problem으로 들 수 있습니다. Single neural network는 And, OR 연산은 해결할 수 있지만 XOR 문제는 해결하지 못했습니다. 우리는 AI를 공부하면 MLP에서는 XOR 문제를 해결할 수 있다고 들었습니다. 그럼 어떻게 해결할 수 있는지 예를 들어 보면서 해결 방법에 대해서 알아보겠습니다. Single neural network의 한계점 분류를 할 때 뉴런이 한 개일 때는 하나의 직선밖에 만들 수가 없습니다. 즉 1차 선형 방정식으로 두 개의 분류로 분류할 수 있습니다. x1 x2 AND OR NAND 0 0 0 0 0 0 1 0 1 1 1 0 0 1 1 1 1 1 1 - 위 그림처럼 AND, OR 연산의 ..

Artificial Intelligence 2019. 8. 4. 16:26