다보스 포럼에서 OpenAI 샘 알트만

[정민섭]

지난 1월 18일 다보스 포럼에서 샘 알트만이 아래와 같이 말했다고들 해서 기사를 찾아봤다.

"전 세계가 '범용 인공지능'(AGI)에 더 가까이 갈수록 위험과 스트레스, 긴장 수위가 모두 올라갈 것이고 낯선 일이 더 많이 생길 것"이라며 "더 많이 준비하고, 더 깊이 생각해야 한다"고 말했습니다.

내용을 보니, 샘 알트만은 사람들이 AI를 사용함에 따라 생산성이 향상될 것이라 했고, AI는 우리에게 자신의 추론을 설명할 수 있다고 했고, AI가 인간에 대한 배려를 대체할 수는 없다고 했고, 인간은 아이디어를 더 많이 다루게 될 것이라 했고, AI 기술이 받고 있는 조명을 환영했으며, 콘텐츠를 위한 새로운 경제 모델 개발에 대해서도 이야기를 했다.
그리고 위의 인용부 내용과 관련해서는 "우리가 추진하고자 하는 기술적 방향은 우리가 안전하게 만들 수 있다고 믿는 방향입니다."라고 말했으며, "우리 기관은 이를 규제하는 방법과 가드레일을 설치하는 방법을 알아내기 위해 이러한 논의를 할 시간이 있습니다."라고 나온다.

그의 관점은 1년전 언급했던 것과 크게 달라 보이지 않았다. (2023년 2월 24일 글:  나들이 nadre | OpenAI, 인공지능에 대한 계획 발표 (2/24) : Planning for AGI and beyond - Daum 카페 )

Davos 2024: Sam Altman on the future of AI | World Economic Forum (weforum.org)

Davos 2024: Sam Altman on the future of AI

ARTIFICIAL INTELLIGENCE Davos 2024: Sam Altman on the future of AI Jan 18, 2024 Sam Altman has a sign above his desk that reads: "No-one knows what happens next." But as the CEO of OpenAI, the creator of ChatGPT, he's better placed than most to predict where artificial intelligence is heading - and to address what it can and can't do. Here are some of Altman's key quotes from the session 'Technology in a Turbulent World'. Productivity gains will grow as people use AI "Even with its very limited current capability and its very deep flaws, people are finding ways to use [this tool] for great productivity gains or other gains and understand the limitations. "People understand tools and the limitations of tools more than we often give them credit for. People have found ways to make ChatGPT super useful to them and understand what not to use it for, for the most part." “AI has been somewhat demystified because people really use it now. And that's always the best way to pull the world forward with a new technology.” AI will be able to explain its reasoning to us Part of being able to trust technology involves understanding how it works. But Altman says truly understanding how generative AI operates will "a little different" than people think now. "I can't look in your brain to understand why you're thinking what you're thinking. But I can ask you to explain your reasoning and decide if that sounds reasonable to me or not. "I think our AI systems will also be able to do the same thing. They'll be able to explain to us in natural language the steps from A to B, and we can decide whether we think those are good steps, even if we're not looking into it to see each connection." AI will not replace our human care for each other When IBM chess computer Deep Blue beat World Champion Garry Kasparov in 1997, commentators said it would be the end of chess and no-one would bother to watch or play chess again become a computer had won. But "chess has never been more popular than it is now", said Altman, and "almost no-one watches two AIs play each other, we've very interested in what humans do". "When I read a book that I love, the first thing I do when I finish is find out everything about the author's life, I want to feel some connection to that person that made this thing that resonated with me." “Humans know what other humans want. Humans are going to have better tools. We've had better tools before, but we're still very focused on each other.” Humans will deal more with ideas While AI is widely expected to lead to job growth and job losses, Altman predicts it will change certain roles by giving people space to come up with ideas and curate decisions. "When I think about my job, I'm certainly not a great AI researcher. My role is to figure out what we're going to do, think about that and then work with other people to coordinate and make it happen. "I think everyone's job will look a little bit more like that. We will all operate at a little bit higher of a level of abstraction. We will all have access to a lot more capability. We'll still make decisions. They may trend more towards curation over time, but we'll make decisions about what should happen in the world." There's room for optimism on AI values alignment "The technological direction we've been trying to push this in, is one we believe we can make safe," said Altman. Iterative deployment means that society can get used to the technology, and that "our institutions have time to have these discussions to figure out how to regulate this, how to put some guardrails in place". Altman said there had been "massive progress" between GPT-3 and GPT-4 in terms of how well it can align itself to a set of values. But the harder question is: "Who gets to decide what those values are and what the defaults are, what the bounds are? How does it work in this country versus that country? What am I allowed to do with it or not? That's a big societal question." "From the technological approach, there's room for optimism," he said, adding that the current alignment techniques would not scale to much more powerful systems, so "we're going to need to invent new things". He welcomed the scrutiny AI technology was receiving. “I think it's good that we and others are being held to a high standard. We can draw on lessons from the past about how technology has been made to be safe and how different stakeholders have handled negotiations about what safe means.” And he said it was the responsibility of the tech industry to get input from society into decisions such as what the values are, and the safety thresholds, so that the benefits outweigh the risks. "I have a lot of empathy for the general nervousness and discomfort of the world towards companies like us... We have our own nervousness, but we believe that we can manage through it and the only way to do that is to put the technology in the hands of people. "Let society and the technology co-evolve and sort of step by step with a very tight feedback loop and course correction, build these systems that deliver tremendous value while meeting safety requirements." New economic models for content will develop Altman made a distinction between LLMs displaying content and using it to train on. "When a user says, 'Hey, ChatGPT, what happened at Davos today?' we would like to display content, link out to brands of places like the New York Times or the Wall Street Journal or any other great publication and say, 'Here's what happened today' and then we'd like to pay for that. We'd like to drive traffic for that," said Altman, adding it's not a priority to train models on that data, just display it. In future, LLMs will be able to take smaller amounts of higher quality data during their training process and think harder about it and learn more. When content is used for training, Altman said we need new economic models that would compensate content owners. "If we're going to teach someone else physics using your textbook and using your lesson plans, we'd like to find a way for you to get paid for that. If you teach our models, I'd love to find new models for you to get paid based off the success of that... The current conversation is focused a little bit at the wrong level, and I think what it means to train these models is going to change a lot in the next few years." Panellists also included: Marc Benioff, Chair and CEO of Salesforce, Julie Sweet, Chair and CEO of Accenture, Jeremy Hunt, UK Chancellor of the Exchequer and Albert Bourla, CEO of Pfizer, to discuss these issues.

인공 지능 다보스 2024 샘 알트먼이 말하는 AI의 미래 Jan 18, 2024 샘 알트먼의 책상 위에는 이렇게 적힌 팻말이 있습니다: "다음에 무슨 일이 일어날지는 아무도 모른다." 하지만 ChatGPT를 개발한 OpenAI의 CEO인 그는 인공지능이 어디로 향할지, 그리고 인공지능이 할 수 있는 일과 할 수 없는 일을 예측하는 데 있어 누구보다 유리한 위치에 있습니다. 다음은 '격동의 세계에서의 기술' 세션에서 알트먼이 한 주요 발언 중 일부입니다. 사람들이 AI를 사용함에 따라 생산성이 향상될 것입니다. "현재 매우 제한적인 기능과 심각한 결함에도 불구하고 사람들은 생산성 향상이나 다른 이득을 위해 [이 도구를] 사용할 방법을 찾고 있으며 그 한계를 이해하고 있습니다. "사람들은 우리가 흔히 생각하는 것보다 도구와 도구의 한계를 더 잘 이해하고 있습니다. 사람들은 ChatGPT를 매우 유용하게 사용할 수 있는 방법을 찾아냈고, 대부분 어떤 용도로 사용하면 안 되는지도 이해하고 있습니다." " 사람들이 실제로 사용하기 때문에 AI는 어느 정도 신비화되었습니다. 그리고 그것은 항상 새로운 기술로 세상을 발전시키는 가장 좋은 방법입니다. " AI는 우리에게 자신의 추론을 설명할 수 있습니다. 기술을 신뢰하기 위해서는 기술이 어떻게 작동하는지 이해하는 것이 중요합니다. 하지만 알트먼은 제너레이티브 AI의 작동 방식을 진정으로 이해하는 것은 지금 사람들이 생각하는 것과는 "조금 다를 것"이라고 말합니다. "저는 당신의 뇌를 들여다보고 당신이 왜 그런 생각을 하는지 이해할 수 없습니다. 하지만 당신의 추론을 설명해달라고 요청하고 그것이 합리적인지 아닌지는 판단할 수 있습니다. "저는 우리의 AI 시스템도 같은 일을 할 수 있을 것이라고 생각합니다. A에서 B로 가는 단계를 자연어로 설명해 주면, 우리가 각 연결 고리를 살펴보지 않더라도 그것이 좋은 단계라고 생각하는지 판단할 수 있을 것입니다." AI가 인간에 대한 배려를 대체할 수는 없습니다. 1997년 IBM 체스 컴퓨터 딥 블루가 세계 챔피언 개리 카스파로프를 이겼을 때, 해설자들은 체스의 종말이 올 것이며 컴퓨터가 이긴 이상 아무도 다시는 체스를 보거나 플레이하지 않을 것이라고 말했습니다. 하지만 알트먼은 "체스가 지금보다 더 인기 있었던 적은 없었다"며 "두 인공지능이 서로 대국을 하는 것을 보는 사람은 거의 없으며, 우리는 인간이 하는 일에 매우 관심이 많다"고 말했습니다. "제가 좋아하는 책을 읽었을 때, 책을 다 읽은 후 가장 먼저 하는 일은 저자의 삶에 대한 모든 것을 알아보는 것입니다. 저에게 공감을 불러일으킨 이 작품을 만든 사람과 어떤 연결고리를 느끼고 싶기 때문입니다." " 인간은 다른 인간이 무엇을 원하는지 알고 있습니다. 인간은 더 나은 도구를 갖게 될 것입니다. 이전에도 더 나은 도구가 있었지만 우리는 여전히 서로에게 집중하고 있습니다. " 인간은 아이디어를 더 많이 다루게 될 것입니다 AI가 일자리 증가와 일자리 감소로 이어질 것으로 예상되는 가운데, 알트먼은 사람들이 아이디어를 내고 의사결정을 내릴 수 있는 공간을 제공함으로써 특정 역할에 변화를 가져올 것이라고 예측합니다. "제 직업을 생각해보면 저는 훌륭한 AI 연구자는 아닙니다. 제 역할은 우리가 무엇을 할 것인지 파악하고 그에 대해 생각한 다음 다른 사람들과 협력하여 조율하고 실현하는 것입니다. "모든 사람의 업무가 조금 더 그렇게 보일 것이라고 생각합니다. 우리 모두는 조금 더 높은 수준의 추상화에서 업무를 처리하게 될 것입니다. 우리 모두는 훨씬 더 많은 역량에 접근할 수 있게 될 것입니다. 의사결정은 여전히 우리가 할 것입니다. 시간이 지남에 따라 큐레이션의 경향이 강해질 수도 있지만, 세상에 어떤 일이 일어나야 하는지에 대한 결정은 우리가 내릴 것입니다." AI의 가치 정렬에 대한 낙관론의 여지 알트만은 "우리가 추진하고자 하는 기술적 방향은 우리가 안전하게 만들 수 있다고 믿는 방향입니다."라고 말합니다. 반복적인 배포는 사회가 기술에 익숙해질 수 있다는 것을 의미하며, "우리 기관은 이를 규제하는 방법과 가드레일을 설치하는 방법을 알아내기 위해 이러한 논의를 할 시간이 있습니다."라고 말합니다. 알트먼은 일련의 가치에 얼마나 잘 부합할 수 있는지에 대해 GPT-3와 GPT-4 사이에 "엄청난 진전"이 있었다고 말했습니다. 하지만 더 어려운 질문은 "누가 그러한 가치가 무엇인지, 기본값이 무엇인지, 경계가 무엇인지 결정할 수 있는가 하는 것입니다. 이 나라와 저 나라에서는 어떻게 작동하는가? 내가 무엇을 해도 되는가, 안 되는가? 이는 사회적으로 큰 문제입니다." 그는 "기술적인 접근 방식에서 보면 낙관할 여지가 있다"고 말하며 현재의 정렬 기술은 훨씬 더 강력한 시스템으로 확장할 수 없으므로 "새로운 것을 발명해야 할 것"이라고 덧붙였습니다. 그는 AI 기술이 받고 있는 조명을 환영했습니다. " 우리와 다른 사람들이 높은 기준을 적용받는 것은 좋은 일이라고 생각합니다. 우리는 기술이 어떻게 안전하도록 만들어졌는지, 그리고 다양한 이해관계자들이 안전의 의미에 대한 협상을 어떻게 처리했는지에 대해 과거로부터 교훈을 얻을 수 있습니다. " 또한, 그는 가치의 기준과 안전 임계치 등의 결정을 내릴 때 사회의 의견을 수렴하여 혜택이 위험보다 더 크도록 하는 것이 기술 업계의 책임이라고 말했습니다. "우리 같은 기업에 대한 세상의 일반적인 긴장감과 불편함에 대해 많이 공감합니다.... 우리도 불안감을 느끼지만 이를 극복할 수 있다고 믿으며, 그렇게 할 수 있는 유일한 방법은 기술을 사람들의 손에 쥐어주는 것입니다. "사회와 기술이 함께 진화하고 매우 긴밀한 피드백 루프와 코스 수정을 통해 단계적으로 발전하여 안전 요건을 충족하면서 엄청난 가치를 제공하는 시스템을 구축할 수 있습니다." 콘텐츠를 위한 새로운 경제 모델 개발 알트먼은 콘텐츠를 표시하는 것과 교육에 사용하는 LLM을 구분했습니다. "사용자가 'ChatGPT, 오늘 다보스에서 무슨 일이 있었나요?"라고 물으면 콘텐츠를 표시하고, 뉴욕 타임즈나 월스트리트 저널 또는 기타 유명 출판사의 브랜드와 연결하여 '오늘 무슨 일이 있었나요'라고 말한 다음 그에 대한 비용을 지불하고 싶습니다. 이를 통해 트래픽을 유도하고 싶습니다."라고 Altman은 말하며, 해당 데이터로 모델을 학습시키는 것이 우선순위가 아니라 단지 데이터를 표시하는 것이 우선이라고 덧붙였습니다. 앞으로 LLM은 훈련 과정에서 더 적은 양의 고품질 데이터를 사용하여 더 많은 것을 생각하고 더 많은 것을 배울 수 있게 될 것입니다. 콘텐츠가 학습에 사용되는 경우 콘텐츠 소유자에게 보상할 수 있는 새로운 경제 모델이 필요하다고 알트먼은 말했습니다. "다른 사람에게 여러분의 교과서와 수업 계획을 사용하여 물리학을 가르치려면 그에 대한 대가를 받을 수 있는 방법을 찾아야 합니다. 저희 모델을 가르치신다면 그 성공에 따라 대가를 받으실 수 있는 새로운 모델을 찾고 싶습니다. 현재의 대화는 약간 잘못된 수준에 초점을 맞추고 있으며, 앞으로 몇 년 안에 이러한 모델을 양성하는 것이 의미하는 바가 많이 바뀔 것이라고 생각합니다." 패널리스트도 다음과 같습니다: Salesforce의 회장 겸 CEO 마크 베니오프, Accenture의 회장 겸 CEO 줄리 스위트, 영국 재무부 장관 제레미 헌트, 화이자 CEO 앨버트 불라가 패널로 참여하여 이러한 문제에 대해 논의했습니다.