AI 모델은 이제 스마트폰 및 센서와 같은 지능형 에지 장치의 새로운 데이터에서 지속적으로 학습할 수 있습니다.

[아름이]

AI 모델은 이제 스마트폰 및 센서와 같은 지능형 에지 장치의 새로운 데이터에서 지속적으로 학습할 수 있습니다.
날짜:
2022년 10월 4일
원천:
매사추세츠 공과 대학
요약:
새로운 기술은 메모리가 매우 제한된 마이크로컨트롤러와 같은 에지 장치에서 머신 러닝 모델의 온디바이스 교육을 가능하게 합니다. 이를 통해 에지 장치는 새로운 데이터에서 지속적으로 학습하여 데이터 개인 정보 보호 문제를 제거하는 동시에 사용자 맞춤화를 가능하게 할 수 있습니다.

간단한 명령을 실행할 수 있는 소형 컴퓨터인 마이크로컨트롤러는 사물 인터넷(IoT) 장치에서 자동차의 센서에 이르기까지 수십억 개의 연결된 장치의 기초입니다. 그러나 저렴한 저전력 마이크로컨트롤러는 메모리가 극히 제한적이고 운영 체제가 없기 때문에 중앙 컴퓨팅 리소스와 독립적으로 작동하는 "에지 장치"에서 인공 지능 모델을 훈련시키는 것이 어렵습니다.

지능형 에지 장치에서 기계 학습 모델을 훈련하면 새로운 데이터에 적응하고 더 나은 예측을 할 수 있습니다. 예를 들어, 스마트 키보드에서 모델을 훈련시키면 키보드가 사용자의 글을 통해 지속적으로 학습할 수 있습니다. 그러나 훈련 프로세스에는 너무 많은 메모리가 필요하므로 일반적으로 모델이 장치에 배포되기 전에 데이터 센터의 강력한 컴퓨터를 사용하여 수행됩니다. 이는 사용자 데이터를 중앙 서버로 보내야 하므로 비용이 더 많이 들고 개인 정보 보호 문제가 발생합니다.

이 문제를 해결하기 위해 MIT와 MIT-IBM Watson AI Lab의 연구원들은 0.4MB 미만의 메모리를 사용하여 기기 내 교육을 가능하게 하는 새로운 기술을 개발했습니다. 연결된 장치용으로 설계된 다른 교육 솔루션은 500MB 이상의 메모리를 사용할 수 있으며, 이는 대부분의 마이크로컨트롤러의 256KB 용량을 크게 초과합니다(1MB에 1,024KB 있음).

연구원들이 개발한 지능형 알고리즘과 프레임워크는 모델을 훈련하는 데 필요한 계산량을 줄여 프로세스를 더 빠르고 메모리 효율적으로 만듭니다. 그들의 기술은 몇 분 만에 마이크로 컨트롤러에서 기계 학습 모델을 훈련하는 데 사용할 수 있습니다.

이 기술은 또한 데이터를 장치에 보관하여 개인 정보를 보호하므로 의료 애플리케이션과 같이 데이터가 민감한 경우 특히 유용할 수 있습니다. 또한 사용자의 요구에 따라 모델을 사용자 정의할 수 있습니다. 또한 프레임워크는 다른 교육 방식과 비교할 때 모델의 정확도를 유지하거나 개선합니다.

"우리 연구를 통해 IoT 장치는 추론을 수행할 뿐만 아니라 AI 모델을 새로 수집된 데이터로 지속적으로 업데이트하여 평생 온디바이스 학습을 위한 길을 열었습니다. 리소스 활용도가 낮으면 딥 러닝에 더 쉽게 접근할 수 있고 특히 더 넓은 범위에 도달할 수 있습니다. MIT-IBM Watson AI Lab의 회원이자 이 혁신을 설명하는 논문의 수석 저자인 EECS(전기 공학 및 컴퓨터 과학부)의 부교수인 Song Han은 말합니다.

공동 저자이자 EECS 박사 과정 학생인 Ji Lin과 Ligeng Zhu, MIT Postdocs Wei-Ming Chen, Wei-Chen Wang, MIT-IBM Watson의 수석 연구원인 Chuang Gan이 논문에 합류했습니다. AI 연구실. 이 연구는 신경 정보 처리 시스템에 관한 컨퍼런스에서 발표될 예정입니다.

Han과 그의 팀은 이전에 TinyML 이니셔티브의 일부로 작은 에지 장치에서 기계 학습 모델을 실행하려고 할 때 존재하는 메모리 및 계산 병목 현상을 해결했습니다.

경량 훈련

기계 학습 모델의 일반적인 유형은 신경망으로 알려져 있습니다. 느슨하게 인간 두뇌를 기반으로 하는 이 모델에는 사진에서 사람을 인식하는 것과 같은 작업을 완료하기 위해 데이터를 처리하는 상호 연결된 노드 또는 뉴런의 레이어가 포함되어 있습니다. 모델은 먼저 훈련되어야 하며, 작업을 학습할 수 있도록 수백만 개의 예제를 보여주어야 합니다. 학습하면서 모델은 가중치라고 하는 뉴런 간의 연결 강도를 높이거나 낮춥니다.

모델은 학습하면서 수백 번의 업데이트를 거칠 수 있으며 각 라운드 동안 중간 활성화를 저장해야 합니다. 신경망에서 활성화는 중간 계층의 중간 결과입니다. 수백만 개의 가중치와 활성화가 있을 수 있기 때문에 모델을 훈련시키는 데는 사전 훈련된 모델을 실행하는 것보다 훨씬 더 많은 메모리가 필요하다고 Han은 설명합니다.

Han과 그의 동료들은 훈련 과정을 보다 효율적이고 메모리 집약적으로 만들기 위해 두 가지 알고리즘 솔루션을 사용했습니다. 희소 업데이트로 알려진 첫 번째는 각 훈련 라운드에서 업데이트할 가장 중요한 가중치를 식별하는 알고리즘을 사용합니다. 알고리즘은 정확도가 설정된 임계값으로 떨어질 때까지 한 번에 하나씩 가중치를 고정한 다음 중지합니다. 나머지 가중치는 업데이트되지만 고정된 가중치에 해당하는 활성화는 메모리에 저장할 필요가 없습니다.

"활성화가 많기 때문에 전체 모델을 업데이트하는 데 비용이 많이 들기 때문에 사람들은 마지막 레이어만 업데이트하는 경향이 있지만 상상할 수 있듯이 정확도가 떨어집니다. 우리 방법의 경우 이러한 중요한 가중치를 선택적으로 업데이트하고 정확도가 완전히 유지됩니다."라고 Han은 말합니다.

두 번째 솔루션은 양자화된 훈련과 일반적으로 32비트인 가중치 단순화를 포함합니다. 알고리즘은 훈련과 추론을 위한 메모리 양을 줄이는 양자화라는 프로세스를 통해 가중치가 8비트만 되도록 반올림합니다. 추론은 모델을 데이터 세트에 적용하고 예측을 생성하는 프로세스입니다. 그런 다음 알고리즘은 가중치와 기울기 사이의 비율을 조정하는 승수처럼 작동하는 양자화 인식 스케일링(QAS)이라는 기술을 적용하여 양자화된 훈련에서 발생할 수 있는 정확도 저하를 방지합니다.

연구원들은 운영 체제가 없는 간단한 마이크로 컨트롤러에서 이러한 알고리즘 혁신을 실행할 수 있는 작은 훈련 엔진이라고 하는 시스템을 개발했습니다. 이 시스템은 모델이 에지 장치에 배포되기 전에 컴파일 단계에서 더 많은 작업이 완료되도록 훈련 프로세스의 단계 순서를 변경합니다.

"우리는 자동 미분 및 그래프 최적화와 같은 많은 계산을 컴파일 시간에 적용합니다. 또한 중복 연산자를 적극적으로 제거하여 희소 업데이트를 지원합니다. 일단 런타임에 장치에서 수행할 작업 부하가 훨씬 줄어듭니다." 한이 설명합니다.

성공적인 속도 향상

최적화에는 마이크로컨트롤러에서 기계 학습 모델을 훈련하는 데 157킬로바이트의 메모리만 필요했지만 경량 훈련을 위해 설계된 다른 기술은 여전히 ​​300-600메가바이트가 필요합니다.

그들은 이미지에서 사람을 감지하도록 컴퓨터 비전 모델을 훈련하여 프레임워크를 테스트했습니다. 단 10분의 훈련 후 성공적으로 작업을 완료하는 방법을 배웠습니다. 그들의 방법은 다른 접근 방식보다 20배 이상 빠르게 모델을 훈련할 수 있었습니다.

이제 컴퓨터 비전 모델에 대한 이러한 기술의 성공을 입증했으므로 연구자들은 언어 모델 및 시계열 데이터와 같은 다양한 유형의 데이터에 이를 적용하려고 합니다. 동시에 그들은 배운 것을 사용하여 정확도를 희생하지 않으면서 더 큰 모델의 크기를 축소하기를 원합니다. 이는 대규모 머신 러닝 모델을 훈련할 때 탄소 발자국을 줄이는 데 도움이 될 수 있습니다.

출처 : https://www.sciencedaily.com/