기타 저기..인공지능 이렇게 만들어보며 어떨까...(3편완)

[모시떡]

그냥...심심해서 아는내용만 살짝 쓸려다가... 생각보다 글쓰고 편집하는게 엄청 구찮고 힘들구나...

현타와서 책임감으로 글쓰는중 8^8 끝까지 봐준 게녀들 고마워

지난 이야기 : 인공지능 개망 지원없쑴

3세대: Unsupervised Learning - Boltzmann Machine

지원 두번이나 했는데 실용화도 안될꺼 같고....

자본논리란게 그런거 아니겠냐 인공지능 빠셍

하... 지원도 없고 인공신경망 연구 더하면 좋겠는데 머 답도없네.. 차라리 캐나다로 건너간다

(Geoff Hinton)

어 힌튼짱 일로와서 연구하쇼 우리가 지원해줄께요

(머신러닝의 발전에 엄청난 공을 세운 캐나다의 단체, 때문에 머신러닝 주도하는 연구소나 학자들 다 여기출신)

넴 논문하나 쓸께요. 아참 볼츠만 머신도요

(머신러닝을 부활시킬 수 있는 논문 발표, 2006년 주요 문제점들 해결)

?!

우리가 구구절절 댔던거 다 해결가능하다구?

네 제 '볼츠만 머신' 보시면 이해 되실 듯요(뿌듯)

먼저 비지도 학습으(unsupervised)로 신경망을 학습 시키구요, 그다음에 역전파 알고리즘(backpropagation)이용해서 

님들이 하시던 지도학습(supervised) 시키면 모델짱짱맨 됩니다.

 아 그리구요

1. 많은 학습데이터(lableled data) 가 어마어마하게 필요하고

2. 학습을 시킬수록 뒤에 있는 노드에 학습률이 떨어지잖아(Sigmoid function 의 문제점)

3. 한번 학습시키면 다른거 학습시킬때 다른 학습에 유연하게 학습이 안돼(Overfitting problem)

4. 최대 가능도추정략이나 최소제곱추정량 사용 안하고 알고리즘으로 구했던데 이거 최소값이라는 보장있어?(local minima, 지역최고 등)

이런 문제 말씀 하셨죠?

ㅇㅇ 설마 해결했냐?

네

1. 애초에 비지도 학습으로 해결했구여

2. 시그모이드 함수 RELU 함수로 바꿔서 해결했구요(역전파 알고리즘의 그라데이션 소실 해결)

3. 과적합(Overfitting problem)은 고놈그냥 학습시킬때 절반 꺼두고 하니까 해결되더만요(dropout)

4. 그리고 지역최고 빠지는 문제는 비지도학습으로 미리 학습시키는 과정에서 해결되구요

5. 지구요

오쩐다..

ㅎㅎ 이참에 이거 써서 이미지 분류대회 나가봐?

야 연구실애들아 니네 인공신경망 써서 대회 나가봐라

아 그리고 인공신경망 예전에 망한거떄매 이미지 사람들한테 안좋으니까

알고리즘 이름 '딥러닝'으로 바꿔서 나가라

(ILSVRC 에 제자들의 팀이 출전해서 월등한 결과로 우승)

짠

(딥러닝을 사용한 녹색과, 일반 알고리즘을 사용한 파란색의 차이, 딥러닝은 이미 인간을 넘어섰다)

와 1%올리는데 피똥싸던걸 한번에 15%를 올려버리네 진짜 이제는 이론놀음이 아니라

어마어마한 가치를 지닌 알고리즘인거 알겠다... 4차 산업혁명.. 너와 함께간다...

(이후 딥러닝이 알려지면서 딥마인드 팀의 '알파고'등 후일에 인공지능의 주류로서 발전하게 된다)

(알파고와 대결하는 세돌찡)

-끝-

(하늘에서 뿌듯하시길)

//

현재까지 이미지 분류, 음성인식, 자연어 번역 등 무궁무진한 발전가능성을 보여주고 있고, 접근성이 좋아 연구가 활발해

인공지능이 마냥 두렵고 먼 기술이 아니라, 알고보면 별거 아닌 기술인데다가

이런 기술이 무궁무진한 가능성을 보이는 걸 보면 경이롭기 까지 하거든... 모두와 나누고 싶어서 가볍게 써본당!

개인적으로 공부하고 싶은 게녀들은 

https://youtu.be/BS6O0zOGX4E?list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm

요기 참고하면 될 것 같아!

기술적인건 물어보면 대답해 줄수 있지만... 아무도 궁금해 하지않는 혼자만의 메아리가 될까 무서워...(+귀찮)

암튼 이걸로 시리즈 끝! 봐줘서 고맙다능

[흑흑흐규]

진짜 좋은 글인 것 같아!

[모시떡]

개인적으로 엔지니어링 기술에 관한건 책 말구 논문이랑 강의 중심으로 하는게 맞는거 같구! 기술 변혁이 워낙 빠른 분야고 어차피 기술축적도 초기단계라서 책이랄 것도 없쑴...
그냥 인공지능 종류나 역사 이런게 궁금한거면... 인문과학서적쪽으로 가야하지 않을까? 8ㅅ8

[나 더하기 너는]

우와

[양세반찬]

5지구요 ㅅㅂㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 미친 딥러닝이 인간을 넘어섰다는거 들어본거같아 헐 재밌다ㅠㅠ 내 상식이 풍부해진 느낌

[모시떡]

완전 동의어로 쓰진 않지만 원론적으로는 맞는말이지!

[모시떡]

ㅠㅠ 근데 중요한게 사고방식을 본뜬게 아니라 뇌의 물리적 구조 자체를 본뜬거얏! 두가지의 차이점은 알겠지? 그렇기 때문에 인간이 지식을 쌓는 방법하고 비슷한지 아닌지 검증할 수는 없지만 적어도 어떤 원하는 아주 세밀하고 정교한 결과에 접근가능한 인공지능을 만들게 된 것이지! 그걸 염두하고 만들었다기 보단 만들고보니 그런능력이 있었던 거지

[모시떡]

내 생각엔 추상적으로 말하기 보단 뇌가 인간의 기억을 저장하는 방식을 기계적으로 모방했을 때, 얻어지는 지능이 인간과 유사하거나 혹은 뛰어난 수준으로 발전 할 수 있다는 점을 강조하는게 조을거같애. 기술적 이해가 됐다는 거랑 내 생각이 있다는 거 둘다를 보여주면 좋지않을까?

[모시떡]

표현이 자연어는 모호해서 약간 오해가 생길수도 있는데, 일단 데이터 축척이란 표현보다 퍼셉트론이 가중치에 의해서 켜질지 말지가 결정되고, 이런 하나하나의 퍼셉트론의 학습과정이 연결되어서 의사결정을 만들고, 풀어내기 힘든 문제에 맞게 그 딥러닝이 변화하는 거거든... 다시말해서 구조적으로 인간은 지식을 쌓아가면서 범용적으로 이것저것 할 수 있다면 딥러닝은 자기 자신이 학습한 분야에서만 쓰일수 있는 거지 어차피 학부생 면접이면 전문영역 물어보지는 않을거니까 무리는 없을 것 같은데

[모시떡]

그것두 지도학습(supervised)랑 unsupervised 학습이 있어서 지도 해서 학습하는거랑 데이터를 주고 스스로 학습하게 하는거랑 방법이 달라! 내생각엔 자료를 조금 찾아보고 생각해보는게 좋을거 같아 꼭 가고싶다면!

[모시떡]

퍼셉트론을 길게 이어 붙였을때 나타나는 문제점이 몇가지 있었어, 먼저 overfitting 문제 때문에 다른 문제에 대한 학습이 불가능했고, gradient decent optimizer 가 언제나 최상의 parameter training 을 보장한다는 증명도 없었구, 또 그라디언트 소실이라는 앞에서 학습한 데이터를 뒤까지 보내는 과정중에 가중치가 너무 작아져 버려서 앞에 있는 애들은 학습돼도 뒤까지 그 영향을 전달하지 못하는 등 문제가 많았어.. 근데 그걸 데이터 전처리와 비지도 학습법으로 극복해내고, sigmoid 함수를 대체할 ReLU 함수 도입이나 gpu 의 발달로 길고 깊게 이어붙인 신경망이 쓰일수 있는 환경과 지식이 쌓이게 된거야

[모시떡]

그리고 강화학습은 지도학습 비지도학습 같은 classification 이랑은 조금 다른 부류야. 이건 말그대로 어떤 행동에 대한 강화를 위한 학습법이고, 이걸 원래 q 라는 구조로 구현했는데, 신경망으로 논리적으로 가능하게 만들어서 사용한게 딥러닝 알파고에 쓰이기도 했고 여러가지고 이렇게 댓글로 말할만한 내용은 아닌거 가타..

[모시떡]

결론적으로 딥러닝은 인공신경망을 길고 넓으면서 다층으로 쌓은 것 뿐이고 여기서 발생했던 문제들에 막혔던 것들이 해결되면서 쓰이기 시작한거야

[모시떡]

음쫌 수정하자면 DQN 이라고 Deep Q-Network 이라구 하는데 강화학습의 q-learning 하고 인공신경망을 합친게 기본적으로 딥러닝의 구조의 출발이얌. 다시말하면 강화학습+신경망인거지. 그리고 원리적으로 비지도 학습으로 할수밖에없었겠찌. 바둑에 정답이 애초에 없으니깐!