Scientific AI의 '블랙박스'는 200년 된 방법에 상대가 되지 않습니다.

[아름이]

Scientific AI의 '블랙박스'는 200년 된 방법에 상대가 되지 않습니다.
푸리에 변환은 심층 신경망이 복잡한 물리학을 학습하는 방법을 보여줍니다.
날짜:
2023년 2월 13일
원천:
라이스 대학교
요약:
새로운 연구에서는 푸리에 분석이라는 200년 된 기술이 심층 신경망(DNN)이라는 인공 지능의 형태가 복잡한 물리학과 관련된 작업을 수행하는 방법에 대한 중요한 정보를 밝힐 수 있음을 발견했습니다. 연구원들은 이 기술이 DNN이 학습한 내용을 DNN이 모델링하는 복잡한 시스템의 물리학에 직접 연결할 수 있음을 발견했습니다.

전체 이야기
컴퓨터 물리학에서 가장 오래된 도구 중 하나인 푸리에 분석으로 알려진 200년 된 수학적 기술은 심층 신경망이라고 하는 인공 지능의 형태가 기후와 같은 복잡한 물리학과 관련된 작업을 수행하는 방법에 대한 중요한 정보를 밝힐 수 있습니다. 새로운 연구에 따르면 난기류 모델링.

라이스 대학의 기계 공학 연구자들이 발견한 내용 은 Proceedings of the National Academy of Sciences의 자매 간행물인 PNAS Nexus 에 공개된 공개 연구에 설명되어 있습니다 .

연구 교신 저자인 Pedram Hassanzadeh는 "이것은 기후와 같은 복잡한 역학 시스템을 위한 심층 신경망의 사용을 설명하고 안내하는 최초의 엄격한 프레임워크"라고 말했습니다. "기후 과학에서 과학적 심층 학습의 사용을 상당히 가속화하고 훨씬 더 신뢰할 수 있는 기후 변화 예측으로 이어질 수 있습니다."

이 논문에서 이전 학생인 Hassanzadeh, Adam Subel 및 Ashesh Chattopadhyay와 박사후 연구원인 Yifei Guan은 대기 중 공기의 복잡한 흐름을 인식하도록 훈련된 심층 학습 신경망을 연구하기 위해 푸리에 분석을 사용하는 방법을 자세히 설명했습니다. 또는 바다의 물과 이러한 흐름이 시간이 지남에 따라 어떻게 변할지 예측합니다. 그들의 분석은 "신경망이 학습한 것뿐만 아니라 네트워크가 학습한 것을 모델링하고 있는 복잡한 시스템의 물리학에 직접 연결할 수 있게 해주었다"고 밝혔습니다.

"심층 신경망은 악명 높게 이해하기 어렵고 종종 '블랙 박스'로 간주됩니다."라고 그는 말했습니다. "그것은 과학 응용 분야에서 심층 신경망을 사용하는 데 있어 주요 관심사 중 하나입니다. 다른 하나는 일반화 가능성입니다. 이러한 네트워크는 훈련된 시스템과 다른 시스템에서 작동할 수 없습니다."

Hassanzadeh는 그의 팀이 논문에서 제시한 분석 프레임워크가 "블랙박스를 열어 네트워크가 무엇을, 왜 배웠는지 이해하기 위해 내부를 들여다볼 수 있게 해주며, 또한 그것을 학습된 시스템의 물리학과 연결할 수 있게 해준다"고 말했습니다.

이 연구의 주 저자인 Subel은 Rice 학부생으로 연구를 시작했으며 현재 New York University의 대학원생입니다. 그는 이 프레임워크를 전이 학습 기술과 함께 사용하여 "일반화를 가능하게 하고 궁극적으로 과학적 딥 러닝의 신뢰성을 높일 수 있다"고 말했습니다.

많은 이전 연구가 딥 러닝 네트워크가 예측을 학습하는 방법을 밝히려고 시도했지만 Hassanzadeh는 Subel, Guan 및 Chattopadhyay가 다른 관점에서 문제에 접근하기로 선택했다고 말했습니다.

Hassanzadeh는 "신경망을 이해하기 위한 일반적인 기계 학습 도구는 자연 및 엔지니어링 시스템 응용 분야에서 많은 성공을 거두지 못했습니다. 최소한 발견이 물리학에 연결될 수 있습니다."라고 말했습니다. "우리의 생각은 '뭔가 다른 것을 해보자. 물리학을 연구하는 데 일반적으로 사용되는 도구를 사용하고 물리학을 학습한 신경망 연구에 적용하자'였습니다."

그는 1820년대에 처음 제안된 푸리에 분석이 시공간에서 주파수 패턴을 식별하기 위해 물리학자와 수학자들이 선호하는 기술이라고 말했습니다.

"물리학을 하는 사람들은 거의 항상 푸리에 공간의 데이터를 봅니다."라고 그는 말했습니다. "물리학과 수학이 쉬워집니다."

예를 들어, 누군가가 1년 동안 실외 온도 판독값에 대한 분 단위 기록을 가지고 있는 경우 정보는 525,600개의 숫자 문자열이 될 것이며, 물리학자가 시계열이라고 부르는 데이터 세트 유형입니다. 푸리에 공간에서 시계열을 분석하기 위해 연구원은 삼각법을 사용하여 시리즈의 각 숫자를 변환하여 원래 세트의 정보를 포함하지만 상당히 다르게 보이는 또 다른 525,600개의 숫자 세트를 만듭니다.

Subel은 "매분 온도를 보는 대신 몇 개의 스파이크만 볼 수 있습니다."라고 말했습니다. "하나는 24시간의 코사인이 될 것입니다. 이것은 최고점과 최저점의 낮과 밤 주기가 될 것입니다. 그 신호는 시계열에 항상 존재했지만 푸리에 분석을 통해 시간과 시간 모두에서 이러한 유형의 신호를 쉽게 볼 수 있습니다. 공간."

이 방법을 기반으로 과학자들은 시간-주파수 분석을 위한 다른 도구를 개발했습니다. 예를 들어 저역 통과 변환은 배경 잡음을 걸러내고 고역 통과 필터는 그 역을 수행하여 배경에 집중할 수 있도록 합니다.

Hassanzadeh의 팀은 완전히 훈련된 딥러닝 모델의 방정식에 대해 푸리에 변환을 먼저 수행했습니다. 각 모델의 약 100만 개의 매개변수는 승수처럼 작동하여 모델 계산 중에 방정식의 특정 작업에 다소의 가중치를 적용합니다. 훈련되지 않은 모델에서 매개변수는 무작위 값을 가집니다. 이는 알고리즘이 훈련 사례에서 알려진 결과에 점점 더 근접한 예측에 도달하는 방법을 점차적으로 학습함에 따라 훈련 중에 조정되고 연마됩니다. 구조적으로 모델 매개변수는 약 40,000개의 5x5 매트릭스 또는 커널로 그룹화됩니다.

Hassanzadeh는 "우리가 방정식의 푸리에 변환을 취했을 때 이 행렬의 푸리에 변환을 살펴봐야 한다고 말했습니다."라고 말했습니다. "우리는 그것을 몰랐습니다. 이전에 아무도 이 부분을 수행하지 않았으며, 이러한 행렬의 푸리에 변환을 살펴보고 물리학에 연결하려고 시도했습니다.

"그리고 우리가 그렇게 했을 때, 신경망이 학습하고 있는 것은 저역 통과 필터, 고역 통과 필터 및 가버 필터의 조합이라는 것이 드러났습니다."라고 그는 말했습니다.

Hassanzadeh는 "이것에 대한 아름다운 점은 신경망이 어떤 마법도 행하지 않는다는 것입니다."라고 말했습니다. "정신 나간 짓을 하는 게 아닙니다. 실제로 물리학자나 수학자라면 할 수 있는 일을 하는 것입니다. 물론 신경망의 힘이 없었기 때문에 우리는 이러한 필터를 올바르게 결합하는 방법을 몰랐습니다. 하지만 물리학자들과 이에 대해 이야기할 때 그들은 일을 좋아합니다. 왜냐면 그들은 '아! 이게 뭔지 알아. 신경망이 배운 게 이거지. 알겠어.'라고 생각하기 때문입니다."

Subel은 이 발견이 과학적 딥 러닝에 중요한 의미를 가지고 있으며 과학자들이 정적 이미지 분류와 같은 다른 맥락에서 머신 러닝을 연구하면서 배운 일부 내용이 과학적 머신 러닝에 적용되지 않을 수도 있다고 제안합니다.

Subel은 "예를 들어 상업 및 의료 응용 분야에서 얻은 기계 학습 문헌의 일부 지식과 결론은 기후 변화 모델링과 같은 과학 및 공학의 많은 중요한 응용 프로그램에 적용되지 않는다는 것을 발견했습니다."라고 말했습니다. . "이것은 그 자체로 중요한 의미입니다."

Chattopadhyay는 박사 학위를 받았습니다. 2022년에 현재 Palo Alto 연구 센터의 연구 과학자입니다.

이 연구는 해군 연구소(N00014-20-1-2722), 국립 과학 재단(2005123, 1748958) 및 Schmidt Futures 프로그램의 지원을 받았습니다. 전산 자원은 국립 과학 재단(170020)과 국립 대기 연구 센터(URIC0004)에서 제공했습니다.

출처 : https://www.sciencedaily.com/