우니Blog

이번 포스팅에는 범주 분류 문제의 예제로는 그림에 쓰여진 숫자를 판독하는 기능을 구현해보겠습니다. 선행 학습으로 다 범주 분류 “https://ynebula.tistory.com/32” 가 필요합니다. Tensorflow library를 이용한 구현은 다음 포스팅에서 구현할 예정입니다. 학습 내용 1에서 5까지 된 숫자를 구분하는 모델을 구현하겠습니다. 판독할 이미지는 다음과 같이 가로, 셀로 각각 5개의 픽셀로 구성된 5*5 크기의 숫자 이미지를 고려합니다. 5개의 범주를 분류하므로 출력층의 노드는 5개로 구성하고, 활성함수는 소프트맥스 함수를 사용합니다. 이미지의 크기가 5*5 행렬이므로 입력 노드의 개수는 25개로 구성합니다. 신경망 모델은 하나의 은닉층 노드의 개수는 50개, 활성함수는 시그모이드..

Artificial Intelligence 2019. 8. 19. 22:24

이번 포스팅은 MLP 및 비용함수를 CrossEntropy를 이용하여 XOR 연산법을 구현하는 방법에 대해서 알아보겠습니다. 소스 구성은 델타룰 알고리즘 및 Cross Entropy를 Python으로 구현한 소스와 두 번째는 Tensorflow를 이용한 구현 두 가지입니다. Cross Entropy에 대한 이론은 “https://ynebula.tistory.com/28” 포스팅을 참고 바랍니다. 학습 내용 및 신경망 구성 XOR 연산을 Cross Entropy 비용함수와 델타룰 학습 알고리즘으로 구현합니다. 신경망 구성은 다음과 같습니다. 직접 구현에서는 구현 편의상 편차는 0으로 가정하고 구현하였습니다. Cross Entropy 알고리즘 구현 소스 구성은 “Sigmoid 함수”, “Cross Entro..

Artificial Intelligence 2019. 8. 15. 16:10

비용함수(cost function), 손실함수(loss function) 또는 목적함수(objective function)이라고 부릅니다. 비용함수는 최적화 이론에 기반을 둔 함수이며, 신경망의 지도학습에 사용됩니다. 지도학습은 오차가 최소인 가중치를 구하는 것을 목적으로 하며, 여기서 신경망의 오차를 측정하는 척도가 바로 비용함수입니다. 신경망의 오차가 크면 비용함수의 값도 크고, 신경망의 오차가 작으면 비용함수도 작은 값을 갖습니다. 즉 비용함수는 신경망의 오차에 비례합니다. 신경망 학습에서 비용함수 그래프의 최종 출력은 손실이며, 그 값은 스칼라입니다. 비용함수는 크게 두 가지 형태가 있습니다. Sum of squared – 제곱합 제곱합은 신경망 연구 초기부터 사용된 비용함수로 델타 규칙을 이용해..

Artificial Intelligence 2019. 8. 10. 14:04

강화 학습 이론은 동물 행동에 대한 심리적, 신경 과학적 관점에 중점을 두어 에이전트가 환경을 어떻게 최적화 할 수 있는지에 대한 설명을 제공합니다. 이전 강화학습 에이전트는 다양한 영역에서 성공을 달성했지만 이는 사람이 인지한 영역, 즉 사람이 완전히 관찰할 수 있는 낮은 차원의 영역에서만 가능했습니다. 여기서 우리는 deep neural network을 사용한 DQN(Deep Q Network)이라 불리는 novel artificial agent를 알아보겠습니다. 이 에이전트는 강화학습을 사용하여 고차원의 데이터를 입력 받아 바로 정책(policy)를 생성합니다. 이 방법은 고전적 게임인 Atari 2600 게임의 어려운 영역에서 이 에이전트를 테스트했습니다. 동일한 알고리즘, 네트워크 아키텍처 및 ..

Artificial Intelligence 2019. 8. 9. 20:03

모멘텀은 신경망의 학습 안정성과 속도를 높여 학습이 잘 하려고 사용됩니다. 모멘텀 은 다음과 같이 가중치를 갱신할 때 델타 규칙에 모멘텀을 추가로 더합니다. 모멘텀을 사용하면 가중치 값이 바로 바뀌지 않고 어느 정도 일정한 방향을 유지하면서 움직이게 됩니다. 또한 가속도처럼 같은 방향으로 더 많이 변화시켜 학습속도를 높여줘 빠른 학습을 하게 합니다. m하이프는 직전의 모멘텀을 의미하며 0으로 초기화합니다. 알파는 가속도 같은 역할을 하는 하이퍼 파라미터로 1보다 작은 양의 상수를 초기화합니다. 마지막 식은 현재 모멘텀이 다음 학습을 위해서 직전의 모멘텀으로 변한다는 의미입니다. 학습이 진행됨에 따라 모멘텀이 어떻게 변하는지 알아보겠습니다. 위 식을 보면 이전 모멘텀이 현재 모멘텀 추가되고 현재 모멘텀은 ..

Artificial Intelligence 2019. 8. 8. 21:12

이번 포스팅은 MLP 구조를 이용하여 XOR 연산법을 구현하는 방법에 대해서 알아보겠습니다. 요새 좋은 라이브러리도 많아서 굳이 이런 걸 만들 필요가 있을까도 생각이 들겠지만, Tensorflow에서 제공하는 방법으로 구현은 당연하고, 학습 알고리즘을 더욱 잘 이해하려면 직접 구현이 꼭 필요하다고 생각이 들어서 직접 구현해 봤습니다. 파이썬을 다루어 본 적이 없어 Doc 사이트 및 많은 구글링을 하였습니다. 또한 국내 많은 개발자는 대부분 DB를 이용하여 데이터를 처리하는 업무를 많이 합니다. 저 역시 이런 일을 많이 했습니다. 행렬 계산이 머릿속에 잘 그려지지 않아 많은 시행착오가 있었습니다. 소스 구성은 델타룰 알고리즘 및 제곱합을 Python으로 구현한 소스와 두 번째는 Tensorflow를 이용한..

Artificial Intelligence 2019. 8. 7. 21:26

이번 포스팅 주제는 역전파관련 내용입니다. 선행학습으로 경사하강법이 필요하므로 https://ynebula.tistory.com/14 포스팅 내용 학습이 필요합니다. 다층 신경망은 입력층과 출력층 사이에 여러 은닉층이 있는 신경망 구조를 가진 신경망입니다. 지도학습은 정답과 모델의 예측값을 비교한 오차를 기준으로 가중치를 조정합니다. 다층 신경망에서는 은닉 노드의 오차값 확인이 필요한데 이때 사용되는 방법이 역전파 알고리즘입니다. 역전파 알고리즘은 다층 신경망을 학습 방법입니다. (Learning representation by back-propagating error) 역전파(backpropagation) 알고리즘은 1986년에 개발되었습니다. 역전파 알고리즘의 아이디어는 은닉층 노드들의 오차를 확인하..

Artificial Intelligence 2019. 8. 6. 21:05

Single neural network의 가장 대표적인 문제점으로 XOR problem으로 들 수 있습니다. Single neural network는 And, OR 연산은 해결할 수 있지만 XOR 문제는 해결하지 못했습니다. 우리는 AI를 공부하면 MLP에서는 XOR 문제를 해결할 수 있다고 들었습니다. 그럼 어떻게 해결할 수 있는지 예를 들어 보면서 해결 방법에 대해서 알아보겠습니다. Single neural network의 한계점 분류를 할 때 뉴런이 한 개일 때는 하나의 직선밖에 만들 수가 없습니다. 즉 1차 선형 방정식으로 두 개의 분류로 분류할 수 있습니다. x1 x2 AND OR NAND 0 0 0 0 0 0 1 0 1 1 1 0 0 1 1 1 1 1 1 - 위 그림처럼 AND, OR 연산의 ..

Artificial Intelligence 2019. 8. 4. 16:26