4장 과제

[Sungryul Lee]

1. 로스함수로 크로스엔트로피가 MSE(평균제곱오차)보다 좋은 이유를 설명하라

2. 미분은 순간변화율을 의미한다 컴퓨터는 순간을 다룰수 있는가?

컴퓨터는 순간변화율을 구할수 없고 미분의 근사값을 구할뿐이다. 이를 수치미분이라 함

수치미분의 3가지 종류를 조사하고 설명하라 f(x)=x^2-2x+3 함수에 대하여 3가지 x=5에서 수치미분하는 코드를 만들어 계산해보라 사람이 미분한 결과와 비교하라 어떤방법이 사람과 비교하여 오차가 가장 작은가?

h= 0.1, 0.01, 0.001로 변환하면서 수치미분을 수행하라 h와 미분정확도와의 관계는?

3. 4.4절의 예제 코드를 라인단위로 설명하라 f(x1,x2,x3)=x1^2+x2^2+x3^2+2x1+2x2+2x3+10 함수에 대하여 x1=1, x2=2,x3=3에서 기울기를 구하라 사람이 구한 결과와 비교하라 

4. 138페이지 numerical_gradient함수를 라인단위로 설명하라

5. 다층퍼셉트론을 이용하여 XOR 문제를 풀수 있음을 실험을 통하여 증명하라 -> 교재 4.5절 예제를 참고할것

학습데이터 -> (0,0), (0,1), (1,0), (1,1)

정답 -> 0, 1, 1,0

(1) 위 문제를 풀기위한 다층퍼셉트론을 설계하라 입력갯수, 은닉층갯수, 은닉층 노드갯수, 출력갯수, 활성화함수를 설계하라

(2) 로스함수는 MSE를 이용하고 위 데이터로 학습을 수행하라, 로스그래프를 출력하라, 로스그래프가 0으로 수렴하는지 설명하라, 학습결과 나온 가중치와 편향값을 출력하라

(3) (2)번에서 구한 가중치와 편향값을 이용하여  모든 학습데이터에 대하여 추론결과를 구하고 설명하라

6. 다음표는 2차원 평면상의 8개의 점의 x,y 좌표를 의미하고 label은 각점이 속한 클래스(0,1)를 의미한다.

퍼셉트론의 입력은 2차원 좌표이고 출력은 0 또는 1의 값을 가져야한다

-> 교재 4.5절 예제를 참고할것

(1) 위 문제를 풀기위한 다층퍼셉트론을 설계하라 입력갯수, 은닉층갯수, 은닉층 노드갯수, 출력갯수, 활성화함수를 설계하라

(2) 아래 데이터로 학습을 수행하라, 로스그래프를 출력하라, 학습결과 나온 가중치와 편향값을 출력하라

(3) (2)번에서 구한 가중치와 편향값을 이용하여  0<=x<=500, 0<=y<=500 범위의 모든 정수 좌표에 대하여 다층퍼셉트론의 출력을 계산하고 0이면 빨간색으로 그리고 1이면 초록색으로 그려주시오 opencv를 이용하여 500x500 크기의 영상을 만들고 아래 결과그림처럼 그려주면됨

(4) 결정경계가 왜 곡선으로 나오는지 설명하라, 결정경계의 방정식을 유도할수 있는가? 

7. 교재 4.5절 예제를 이용하여 3장과제에서 작성한 MNIST jpg 파일을 이용한 필기체인식 코드를 작성하라

(1) 교재 4.5절 예제를 이용하여 MNIST jpg 파일의 훈련데이터를 이용하여 훈련을 수행하라. 로스그래프 출력할것

(2) (1)에서 훈련한 결과와 3장에서 인터넷에서 다운받은 선행학습된 파라미터(가중치,편향)로 테스트 데이터 10000개에 대한 정확도를 각각 계산하고 비교하라

(3) 3장과제에서 만든 숫자 입력창을 이용하여 추론 해보라