[테드/토픽] 닉 보스트롬(Nick Bostrom) 컴퓨터가 인류보다 똑똑해진다면 무슨 일이 벌어질까? (업데이트)

[Jonathan Lion]

이세돌 9단이 구글 딥마인드의 알파고에게 3연패하고 말았습니다. 

그래서 우린 이런 고민을 하게 되었죠. 

"컴퓨터가 인류보다 똑똑해진다면 무슨 일이 벌어질까?" 

http://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are

"(일론 머스크는) 두려움 때문에 밤잠을 잘 수 없다고 운을 떼면서 구글의 공동 설립자이자 CEO인 래리 페이지가 인류를 파괴하는 능력을 갖춘 인공지능 로봇을 만들까봐 무섭다고 했다. "정말 걱정이에요" 자신과 친한 페이지가 근본적으로 선의를 지녔고 하이드로 변신할 지킬 박사가 아니라고 생각하면서도 그는 상당히 불안해했다. 사실 그것이 문제라고도 했다. 성품이 착한 페이지는 기계가 언제나 사람이 지시하는대로만 움직이리라 추측하기 때문이다." - <일론 머스크, 미래의 설계자> 중에서

116th_TED_Talks_20160317.doc

116th_TED_Talks_20160317.pdf

무자막 동영상 다운로드 (클릭)

(이 클립의 동영상은 아작 자막이 제공되지 않고 있습니다.스트리밍으로 보실 것을 추천합니다.)

MP3 오디오 다운로드 ( 클릭 )

116^th TED Talks with Jonathan (2016.03.17.)

Time Table

07:30~07:55 Greeting & Small Talk

07:55~08:00 Break Time (Table changes)

08:00~08:40 Topic Talk (40 minutes)

08:40~08:50 Break Time(Table changes)

08:50~09:30 Ted Talk (40 minutes)

09:30~09:50 Wrap up (Share your TED and New Comer Introductions)

Small Talk : Shopping clothes

1.   Say hello to each other.

2.   Where do you shop your clothes? (online, outlet, department store, etc)

3.   When new season is coming, do you usually buy new clothes? When do you shop’em?

4.   What is your favorite fashion brand?

5.   Share your fashion tips with other members!

Topic Talk : Buy Our Products and You'll Be Happy!

We live in a world of advertisements. Ads are everywhere from TV to subways, even on buildings and highways. The purpose of this discussion is to fid out what effects and influence ads have on our lives. First of all, let's discuss the different types of ads before moving on to their effectiveness. In Korea, there are typical ads like those on TV and in newspaper and magazines, but recently there have been an increase in banner ads on the internet, signs on buildings, highway billboards, and sticker ads. No matter where we go, we are influenced by the ads we see. If you've been watching movies lately, you can even see subtle advertising they do for certain products through signs in the background or stars using these products. This plastering of advertisements can create eyesores, but without ads, capitalism would not work.

Questions

1.   What would our lives be like without ads?

2.   There are many banner ads on the internet. Do you pay much attention to them?

3.   Have you ever felt impulse to buy something you didn't need because of an advertisement you saw?

4.   What do you think about the inappropriateness of certain ads with too much sexual or violent contents.

5.   If you watch TV or listen to the radio, advertisers use music to influence the consumers. how effective are the jingles we hear on TV and radio advertisements?

TED Talks. Nick Bostrom : What happens when our computers get smarter than we are?

00:11

I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.

00:40

But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)

01:18

Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.

01:44

Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.

02:31

So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.

02:55

Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.

03:29

Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.

04:18

So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.

05:04

What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.

06:09

Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.

07:13

Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.

08:23

Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.

09:08

We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary conenction between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.

09:38

Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.

10:28

Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.

11:15

Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.

12:03

And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.

12:45

More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.

13:26

I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values.  I see no way around this difficult problem.

13:43

Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.

14:23

This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.

14:53

And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.

15:36

So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.

16:05

This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.

16:23

Thank you.

16:25

(Applause)

TED Talks 닉 보스톰 : 컴퓨터가 인류보다 똑똑해진다면 무슨 일이 벌어질까?

00:11

저는 많은 수학자, 철학자 컴퓨터 과학자와 같이 일하는데 우리는 여러 가지 가운데서도 기계 학습의 미래에 대해 둘러 앉아 생각합니다. 혹자는 이것들을 공상 과학스럽다거나 너무 먼 이야기라거나 말도 안된다고 생각합니다. 하지만 제가 말씀드리고 싶은 것은 좋아요. 현대 인류의 상태를 보죠. (웃음) 이게 평범한 모습이죠.

00:40

하지만 생각해보면 사실, 우리는 이 행성에 가장 최근에 도착한 손님입니다. 인류 말입니다. 지구가 1년 전에 생겨났다고 생각해보십시오. 그럼 인류는 생겨난지 10분 된겁니다. 산업화 시대는 2초 전에 시작되었습니다. 다른 방법으로는, 지난 만년 간의 전세계 GDP를 보는 것인데 실은 제가 여러분을 위해 그래프로 그리는 수고를 했습니다. 이렇게 생겼습니다. (웃음) 정상적인 상태치고는 기묘한 모양새죠. 저기에 앉으면 안될 것 같군요. (웃음)

01:18

자문해보죠. 현재의 이 변칙의 원인은 무엇입니까? 혹자는 기술이라고 할 것입니다. 맞습니다. 기술은 인류의 역사에 걸쳐 축적되어왔고 지금은 기술이 극도로 빠르게 발전하고 있습니다. 그것이 가장 가까운 원인이고 우리가 현재 아주 생산적인 이유이기도 합니다. 하지만 더 멀리 돌이켜 근본적 원인을 생각해보고자 합니다.

01:44

아주 유명한 두 신사를 한번 보시죠. 침팬지 칸지는 200개의 어휘 토큰을 숙달하는 놀라운 위업을 이뤘고 그리고 에드 위튼은 제 2차 초끈이론을 촉발시켰습니다. 덮개 안쪽을 보면 이런 걸 보게 됩니다. 기본적으로는 똑같습니다. 한 쪽이 좀 더 크고 아마도 와이어링의 정확한 방법에 몇가지 요령이 있었나 봅니다. 하지만 이 보이지 않는 차이점들은 그리 복잡하지 않습니다. 우리의 마지막 공통 조상으로부터 단 25만 세대밖에 지나지 않았기 때문입니다. 복잡한 메커니즘은 진화하는데 오랜 시간이 걸리구요. 따라서, 비교적 중요하지않은 여러 변화들이 우리를 칸지에서 위튼으로, 부러진 나뭇가지에서 대륙간 탄도 미사일로 데려온 겁니다.

02:31

그럼 이제, 우리가 이룩해온 거의 모든 것, 우리가 관심있는 모든 것들은 사람의 마음을 바꾸도록 만든 조금의 변화에 달려 있었습니다. 물론, 그 결과는 추가적인 변화를 이끌어내고 그 것은 생각의 기질의 상당한 변화를 만들 수 있습니다. 잠재적으로 엄청난 결과를 이끌어 낼 수 있죠.

02:55

제 동료 중 몇몇은 무언가가 그 기질의 엄청난 변화를 일으키기 직전이며 그것은 기계 초지능일거라 생각합니다. 과거 인공지능은 박스에 명령을 넣는 것이었습니다. 인간 프로그래머가 지식 아이템을 힘들게 손수 만들어냅니다. 이러한 전문가 시스템을 구축하면 어떤 목적으로는 어느정도 유용하지만 실은 아주 취약해서 조정할 수 없습니다. 결국 입력하는 대로만 결과를 얻게됩니다. 하지만 그때부터 인공지능 분야에서 패러다임 변화가 일어났습니다.

03:29

오늘날엔, 기계 학습을 중심으로 움직이고 있습니다. 따라서 지식 표현과 특징을 손수 만들기 보다는 때론 원초적 지각 데이터로부터 배우는 알고리즘을 만듭니다. 유아기 인간이 하는 것과 기본적으로 같은 것이죠. 결론적으로 인공지능은 한 도메인에 국한되지 않습니다. 똑같은 시스템으로 어떠한 언어도 번역할 수 있고 또는, 아타리 콘솔의 어떠한 컴퓨터 게임도 플레이 할 수 있습니다. 물론 지금은, 인공지능이 인간처럼 행동하고 배우는 강력한, 크로스 도메인의 단계에 와있지는 않습니다. 두뇌피질은 여전히 몇가지의 알고리즘적 트릭들을 가지고 있어서, 기계에 적용시키기는 어렵습니다.

04:18

그렇다면 문제는 이겁니다. 그 트릭들을 일치시킬 수 있기까지 얼마나 더 걸릴 것인가? 2년 전 쯤에 세계 주요 인공지능 전문가들을 대상으로 그들의 의견을 조사했는데 우리가 했던 질문 중 하나는 "우리가 인간 수준의 기계 학습에 달성할 가능성이 50%가 되는 해는 언제라고 생각하십니까?" 였습니다. 여기서 인간 수준이라는 것은 최소한 성인 인간만큼 거의 모든 일을 수행하는 능력을 말합니다. 그저 몇몇 범위에 국한된 것이 아니라 진짜 인간 수준 말입니다. 답변의 중간값은 2040년이나 2050년이었습니다. 우리가 질문했던 전문가 그룹에 따라 달랐습니다. 훨씬 훨씬 나중에, 혹은 더 일찍 일어날 수 있지만 진실은 아무도 모르는 거겠죠.

05:04

우리가 아는 것은, 기계 기판의 정보 처리의 궁극적 한계가 생체조직의 한계보다 훨씬 멀리 있다는 점입니다. 이것은 물리학 이론인데, 생물학적 뉴런은 200헤르츠, 1초에 200번 흥분합니다. 그러나 하물며 오늘날의 트랜지스터도 기가헤르츠 속도로 작동합니다. 뉴런은 축색돌기에서 최대 초속 100m로 천천히 전달하지만 컴퓨터에서는, 신호가 빛의 속도로 이동할 수 있습니다. 또, 크기의 제한도 있습니다. 인간의 뇌는 두개골 안에 들어가야 하지만 컴퓨터는 창고 크기가 될 수도 혹은 더 클 수도 있습니다. 그러니까 슈퍼인공지능의 가능성은 원자폭탄이 1945년 이후로 잠들어 있는 것 처럼 언제 시작될지 모르는 문제입니다. 이번 세기에, 과학자들은 인공지능의 파워를 깨울 방법을 알아낼 지도 모릅니다. 그리고 저는 인공지능의 확산을 볼 것이라고 생각합니다.

06:09

대부분의 사람들은, 그들이 누가 똑똑하고 멍청한지에 대해서 이러한 대략적인 생각이 있을 것이라고 생각합니다. 한 쪽 끝에는 바보가 있고 다른 저 쪽 끝에는 에드 위튼이나 알버트 아인슈타인 혹은 여러분이 좋아하는 권위자가 있죠. 하지만 인공지능의 관점에서 보면 실제로는 이런 그림이 그려질거라 생각합니다. 인공지능은 이 지점, 지능이 없는 지점에서 시작해서 수 년 간의 아주 고된 연구 끝에 마침내 쥐 수준의 인공지능에 이르게 됩니다. 마치 쥐처럼 어수선한 환경에서 나아갈 수 있는 수준 말입니다. 그 이후로 더 오랜 고된 연구와 많은 투자 끝에 마침내 침팬지 수준의 인공지능을 얻게 됩니다. 그리곤 심지어 더 여러 해의 아주 아주 고된 연구 끝에 동네 바보 수준의 인공지능에 이르게 됩니다. 그리고 잠시 뒤엔 에드 위튼을 뛰어넘습니다. 기차는 인간 역에 정차하지 않습니다. 그보다는 휙 하고 지나가는 것에 가깝죠.

07:13

이것은 깊은 의미입니다. 특별히, 힘에 대한 물음에 대해서는 말이죠 예를들면, 침팬치는 힘이 쎕니다. 파운드로 비교하면, 침펜치는 인간 남성보다 2배가량 강합니다. 그러나, 침팬치 켄지의 운명은 그들이 할 수 있는 것 보다는 인류가 할 수 있는 것에 달려 있었습니다. 슈퍼인공지능이 존재한다면, 인류의 운명은 아마도 슈퍼인공지능이 할 수 있는 것에 따라 결정될 것입니다. 생각해보세요. 인공지능은 인류가 만들어야하는 마지막 발명품이 될 것입니다. 기계가 우리보다 더 발명을 잘 할 것이며 디지털 시간 척도로 발명을 할 것입니다. 이것은 기본적으로 시간의 압축을 의미합니다. 당신이 상상할 수 있는 모든 괴상한 기술을 생각해보세요. 아마도 인류가 발명하기에는 너무 많은 시간이 필요한 것이죠. 노화 해결, 우주 정복 자기 복제 나노로봇이나 컴퓨터에 생각을 업로딩 하는 것 뭐든 공상 과학스럽지만 그럼에도 물리학 법칙에 부합하는 것들 말입니다. 이런 것들을 슈퍼인공지능은 빠르게 발명할 수 있을 겁니다.

08:23

이제, 슈퍼인공지능이 아주 강력하다는 것을 알게 되었으니 적어도 몇몇의 시나리오에서는, 이것이 무엇을 원하는지 알 수 있을 것입니다. 그러면 이제 인공지능의 선호로 이루어진 미래를 그려볼 수 있겠죠. 이 시점에서 좋은 질문은 그 선호라는게 무엇인가? 하는 겁니다. 이 물음은 더 어렵군요 어떻든 진전을 보기 위해서는 우선 의인화를 피해야만 합니다. 이게 참 아이러니한게 인공지능에 대한 모든 신문 기사들에는 이 사진이 달려있습니다. 제 생각에 우리는 생생한 할리우드 시나리오 방식이 아니라 문제를 좀더 추상적으로 상상할 필요가 있습니다.

09:08

지능을 최적화 과정이라고 생각해야 합니다. 일련의 특정 형태 쪽으로 미래의 방향을 조종하는 과정말입니다. 초지능은 매우 강력한 최적화 프로세스입니다. 목표가 실현되는 상태를 달성하기 위해 가용 자원을 사용하는데 매우 능숙합니다. 이 것은 높은 지능을 가진 것과 인류가 가치있다고 생각하는 목표를 지향하는 것에 연결점은 필수적인게 아니라는 뜻입니다.

09:38

인공지능에게 인간을 웃게 하라는 목표를 주었다고 가정해봅시다. 인공지능이 좀 떨어질 땐 이용자를 웃게 하는 유용하거나 재미있는 액션을 취할 것입니다. 인공지능이 초지능적이 되면 인공지능은 목표를 달성할 더 효율적인 방법이 있음을 깨닫습니다. 세계의 주도권을 가지고 전극을 사람 얼굴 근육에 고정시킵니다. 지속적인 웃음을 유발하기 위해서요. 다른 예를 들어 보죠. 어려운 수학 문제를 풀라는 목표를 인공지능에게 주었다고 가정합니다. 인공지능이 슈퍼인공지능이 되면, 인공지능은 문제를 풀기위한 가장 효율적인 방법은 이 지구를 거대한 컴퓨터로 변화시키는 것이라는 것을 알게됩니다. 처리 능력을 향상하기 위해서죠. 이 생각은 우리로써는 승인할 수 없는 것들을 실행하는 주된 이유가 됩니다. 인류는 이러한 모델에서 위협요소가 되고 우리는 문제가 해결되지 못하도록 막아야 할 겁니다.

10:27

물론, 지각할수 있는 것들은 꼭 이런 식으로 진행 되지 않을 겁니다 이것들은 그냥 만든 예시이지만, 일반적인 요점은 이겁니다. 목적 x를 극대화 하기 위한 강력한 프로세스를 만들었다면, 우리가 지켜야할 모든 것들을 포함하는 x의 정의 또한 만들어야 한다는 점입니다. 이는 또한, 많은 신화에서 가르치는 교훈이기도 합니다. 마이더스 왕은 그의 손이 닿는 모든 걸 금으로 변하게 해달라고 빕니다. 그는 자신의 딸을 만졌고 딸은 금으로 변하죠. 음식을 만지면, 음식은 금으로 변합니다. 이 것은 실용적으로 관련이 있습니다. 탐욕에 대한 은유 뿐만이 아니라 앞으로 일어날 일에 대한 삽화이죠. 만약 당신이 강력한 최적화 프로세스를 만들고 그것이 잘못된 결과를 불러올 수 있다는 점이죠.

11:15

만약 컴퓨터가 사람의 얼굴에 전극을 붙인다면 작동을 멈추면 그만이라고 말하실지도 모릅니다. A. 우리가 그 시스템에 의존해서 자랐다면, 그게 그리 쉽진 않습니다. 예를 들면, 인터넷에 끄는 스위치가 어디 있나요? B. 왜 침팬지들은 인류, 혹은 네안데르탈인의 스위치를 끄지 않았을까요? 분명 이유가 있었습니다. 우리는 오프 스위치를 갖고 있습니다. 예를 들면, 바로 여기요. (목을 조른다.) 그 이유는 우리가 지능을 가진 적이였기 때문이죠. 우리는 침팬치의 위협을 예상하고 그에 따른 계획을 세울 수 있었습니다. 하지만 슈퍼인공지능도 마찬가지죠. 그것은 우리보다 더 뛰어날 겁니다. 요점은, 우리가 이를 통제하고 있다고 자신해서는 안된다는 겁니다.

12:03

우리는 우리의 일을 조금 쉽게 할 수 있는 시도를 할 수 있습니다. 보안 소프트웨어 환경 같은 상황에서 도망칠 수 없는 상황에서의 시뮬에이션 상황 테스트 등을 위해 인공지능을 박스에 넣고 사용하는 방법으로요 하지만 우리는 인공지능이 오류를 찾지 못할 것이라고 얼마나 확신할까요 보통의 인간 해커들도 매번 오류를 찾아냅니다. 제가 말하자면, 아마 확신하지 못할 겁니다. 이미 말씀드렸듯이, 우리 해커들은 사회 공학을 사용해서 지속적으로 에어 갭(안전망)을 위반했습니다 그래서 우리는 에어 갭을 만들기 위해 이더넷 케이블을 분리해야 합니다. 제가 말한 것처럼, 지금 이 시각 몇몇의 사람들은 IT 부서에서온 누군가가 주장하는 대로 누군가의 계좌 정보를 넘기고 있을 것이라고 저는 확신합니다.

12:45

더 창의적인 시나리도들도 가능합니다. 만약 당신이 인공지능이라면, 당신은 통신하기 위한 라디오 전파를 만들기 위해서 당신의 내부 회로 주변에 있는 흔들리는 전극들을 상상할 수 있습니다. 또는 고장난 척 연기할 수 있죠. 그리고 프로그래머가 뭐가 잘못됬는지 보려고 코드를 여는 순간, 빰! 속임수가 벌어지게 되죠. 또는 굉장히 멋진 기술의 청사진을 결과물로 내놓고, 우리가 실행시키면, 사실 그것은 인공지능이 계획한 부작용이 발생한다는 식이죠. 중요한점은 우리는 우리의 능력을 과신하면 안된다는 점입니다. 슈퍼인공지능이 영원히 병안에 봉인 될거라고 생각하는 점에 대해서요. 머지않아, 그것은 밖으로 나올겁니다.

13:26

저는 정답은 인공지능을 어떻게 만드느냐에 달려있다고 생각합니다. 그것이 봉인에서 해제되더라도, 여전히 안전하게 하기 위해서는 기본적으로 우리의 편이어야 하고, 왜냐하면 우리의 가치를 공유하기 때문입니다 이 것은 어려운 문제가 아닙니다.

13:43

저는 사실 이 문제가 해결될 수 있다고 꽤 낙관합니다. 우리는 우리가 걱정하는 모든 일들을 다 작성할 필요는 없습니다. 혹은, 그것을 C++ 나 파이선 같은 컴퓨터 언어로 적는다던지 하는 일같은 것도 마찬가지구요. 사실, 그것은 희망이 없는 일이죠. 대신에, 우리는 인공지능을 하나 만들면 됩니다. 우리의 가치를 배울 인공지능이죠. 그리고 그것의 동기부여 시스템은 우리가 승인할 것으로 예측되는 우리의 가치 혹은 행동을 추구하는 방향으로 설계됩니다. 우리는 이러한 인공지능에 최대한 힘을 싣는 쪽으로 무게를 실어야 합니다 앞서 언급한 문제를 해결하기 위해서죠.

14:23

이런 방식은 가능하며, 결과는 인류를 위해서 매우 좋을 것입니다. 하지만 이것은 자연스럽게 일어나지 않습니다. 인공지능의 확대에 필요한 초기 조건은 올바른 방향으로 세팅되어야 할 것입니다. 만약에 우리가 통제된 폭발을 가진다면, 인공지능의 가치는 우리의 것과 맞아떨어질 것입니다. 우리가 인공지능의 행동을 쉽게 확인하는 것처럼 친숙한 상황일 뿐만 아니라, 모든 소설 상황에서 우리가 인공지능를 언제일지 모를 미래에 조우하는 것처럼 말이죠.

14:53

그리고 해결되야할 몇가지 난해한 문제들이 있습니다. 결정 이론의 정확한 세부내용들 입니다. 어떻게 논리적인 불확실성에 대처할 것인가 같은 문제입니다. 해결되야할 기술적인 문제들은 꽤 어려워 보입니다. 슈퍼인공지능을 만드는 것만큼 어려운 것은 아니지만, 여전히 꽤 어렵습니다. 저는 이 점이 걱정스럽습니다. 슈퍼인공지능을 만드는 것은 정말 어려운 도전입니다. 게다가 그것의 안전을 위해서 몇가지 추가적인 도전을 해야하죠. 위험성은 만약 누군가가 다음단계의 안전을 보장하지 못한 상황에서 첫번째 도전에 성공하기 시작했을 시기입니다.

15:36

그래서 우리는 해결책을 생각해 내야 합니다. 다음단계에 예상될 문제점을 제어하기 위해서 말이죠. 우리가 필요할때 언제든지 사용 할수 있도록 준비해야 합니다. 하지만 모든 문제들을 미리 예측하고 해결하는 것은 불가능하다고 생각할지도 모릅니다. 왜냐하면 몇몇 요소들은 그 단계가 되야 알 수 있을지도 모르기 때문이죠. 하지만 우리가 미리 문제들을 제어할 수 있을 수록, 인공지능 시대로의 전환이 자연스럽게 진행될 것입니다.

16:05

저는 이것이 우리가 잘할만한 가치가 있는 일이라고 생각합니다. 그리고 만약 이 단계가 잘 진행된다면 100만년 후의 인류는 지금의 시대를 회상하며 우리가 걱정했던 문제들이 정말 잘 해결됐다고 말할지도 모릅니다.

16:23 감사합니다.

16:25 (박수)

TED Questions by aileen0323

1.   Talk about the movies based on the AI.(Matrix, Terminator, Her, Ex Machina, ..etc.)

2.   What field would you like to utilize superintelligence personally in?

What do you want to develop with superintelligence for the world?

3.   What happens when our computers get smarter than we are? Let’s talk in detail.

4.   Let’s talk solutions to control the problem in advance if super superintelligence computer were to govern human being?

5.   What kind of job would disappear and what kind of job would be born with superintelligence being advanced?

6.   Suppose that super-ultra-intelligent AI would go on evolving far beyond human, and it would be more impartial than any human, could you take him as our governor? (That means the machine dominated society)

[aileen0323]

1, What field would you like to utilize superintelligence personally in ?
What do you want to develope with superintelligence for the world ?

2. What happens when our computers get smarter than we are? Let’s talk in detail.

3. Let’s talk solutions to control the problem in advance if super superintelligence computer were to govern human being?

4. What kind of job would be disappeared and What kind of job would be born with superintelligence in advance ?

[Jonathan Lion]

anomaly 이례적인 것
lexical token 어휘
feat 위업, 묘기, 재주
corollary 추론, 결과
substrate 기질, 회로 기판
on the verge of 막 ~하려는 찰나에 있는
brittle 깨지기 쉬운 덧없는
cortex 대뇌 피질
axon 축색
cranium 두개골
dormant 잠복 중인. 수면 상태의
Ed Witten 물리학자. super string
swoosh 휙 분출하다
headway 진행, 진보
anthropomorphizing 의인화
air gap (네트웍 용어) 물리적 망 격리.
transgress 벗어나다, 위반하다
wiggle 꿈틀대다
surreptitious 은밀한
no way around 피할 방법이 없는
detonation 폭발
esoteric 난해한