매우 작은 것을 최대한 활용: 에지 센서 시계열에 대한 AI 교육 개선
날짜:
2022년 11월 28일
원천:
도쿄공업대학
요약:
엔지니어들은 제한된 양의 센서 데이터를 기반으로 신경망과 같은 인공 지능 분류기를 훈련할 수 있는 방법을 개선하기 위한 간단한 계산 접근 방식을 시연했습니다. 사물 인터넷의 새로운 애플리케이션에는 종종 시계열을 기반으로 동작과 상황을 안정적으로 분류할 수 있는 에지 장치가 필요합니다. 그러나 학습 데이터는 획득하기 어렵고 비용이 많이 듭니다. 제안된 접근 방식은 거의 추가 비용 없이 분류기 교육의 품질을 크게 향상시킬 것을 약속합니다.
Tokyo Institute of Technology(Tokyo Tech)의 엔지니어들은 제한된 양의 센서 데이터를 기반으로 신경망과 같은 인공 지능 분류기를 훈련할 수 있는 방법을 개선하기 위한 간단한 계산 접근 방식을 시연했습니다. 사물 인터넷의 새로운 애플리케이션에는 종종 시계열을 기반으로 동작과 상황을 안정적으로 분류할 수 있는 에지 장치가 필요합니다. 그러나 학습 데이터는 획득하기 어렵고 비용이 많이 듭니다. 제안된 접근 방식은 거의 추가 비용 없이 분류기 교육의 품질을 크게 향상시킬 것을 약속합니다.
최근에는 인간, 자연 및 기계 활동의 무수한 측면을 조용하고 부지런히 모니터링하는 수많은 사물 인터넷(IoT) 센서가 있을 것이라는 전망이 확고해졌습니다. 우리 사회가 점점 더 데이터에 굶주림에 따라 과학자, 엔지니어 및 전략가는 이 광범위한 모니터링에서 얻을 수 있는 추가 통찰력이 많은 생산 프로세스의 품질과 효율성을 개선하고 지속 가능성을 개선하기를 점점 더 희망하고 있습니다.
우리가 살고 있는 세상은 믿을 수 없을 정도로 복잡하며 이러한 복잡성은 IoT 센서가 모니터링하도록 설계될 수 있는 수많은 변수에 반영됩니다. 어떤 것은 햇빛의 양, 습기 또는 동물의 움직임과 같은 자연적인 반면, 다른 것들은 예를 들어 교차로를 건너는 자동차의 수 또는 다리와 같은 현수 구조물에 가해지는 변형과 같은 인위적입니다. 이러한 변수의 공통점은 시간이 지남에 따라 진화하여 시계열이라는 것을 생성하고 끊임없는 변화에 의미 있는 정보가 포함될 것으로 예상된다는 것입니다. 많은 경우 연구자들은 데이터의 양을 줄이고 이해하기 쉽게 하기 위한 방법으로 이러한 시간적 변화를 기반으로 미리 정해진 일련의 조건이나 상황을 분류하는 데 관심이 있습니다. 예를 들어,
일부 유형의 센서는 수분과 같이 자체적으로 시간이 지남에 따라 매우 느리게 변하는 변수를 측정합니다. 이 경우 무선 네트워크를 통해 개별 판독값을 클라우드 서버로 전송할 수 있으며, 여기에서 대량의 집계 데이터 분석이 수행됩니다. 그러나 점점 더 많은 응용 프로그램에서 동물의 행동을 추적하는 가속도나 사람의 일상 활동과 같이 오히려 빠르게 변하는 변수를 측정해야 합니다. 초당 많은 판독값이 필요한 경우가 많기 때문에 사용 가능한 에너지, 데이터 요금 및 원격 위치의 대역폭 제한으로 인해 원시 데이터를 무선으로 전송하는 것이 비실용적이거나 불가능합니다. 이 문제를 피하기 위해, 전 세계의 엔지니어들은 오랫동안 데이터 분석의 측면을 클라우드에서 센서 노드 자체로 가져오는 영리하고 효율적인 방법을 찾고 있었습니다. 이것은 종종 에지 인공 지능 또는 에지 AI라고 합니다. 일반적으로 아이디어는 원시 녹음이 아니라 관심 있는 특정 조건이나 상황을 검색하는 분류 알고리즘의 결과를 무선으로 전송하여 각 노드에서 훨씬 더 제한된 양의 데이터를 생성하는 것입니다.
그러나 직면해야 할 많은 도전이 있습니다. 일부는 물리적이며 일반적으로 다소 제한된 공간과 무게에 좋은 분류기를 장착해야 할 필요성에서 비롯되며 종종 긴 배터리 수명을 달성할 수 있도록 매우 적은 양의 전력으로 실행됩니다. "이러한 요구 사항에 대한 우수한 엔지니어링 솔루션이 매일 등장하고 있지만 많은 실제 솔루션을 방해하는 실제 문제는 실제로 또 다른 문제입니다. 분류 정확도는 종종 충분하지 않으며 사회는 기술을 신뢰하기 위해 신뢰할 수 있는 답변을 요구합니다."라고 Dr. . 연구가 수행된 나노 센싱 유닛 책임자인 이토 히로유키(Hiroyuki Ito). "자율주행차와 같은 인공 지능의 많은 예시적인 응용 프로그램은 인공 분류기가 얼마나 좋은지 나쁜지는 훈련에 사용되는 데이터의 품질에 크게 좌우된다는 것을 보여주었습니다. 그러나 대부분의 경우 센서 시계열 데이터는 현장에서 수집하기가 정말 까다롭고 비용이 많이 듭니다. 예를 들어, 가축 행동 모니터링을 고려할 때 엔지니어는 농장에서 시간을 보내고 개별 젖소를 계측하고 전문가가 비디오 영상을 기반으로 끈기 있게 행동에 주석을 달도록 해야 합니다."라고 공동 저자인 Korkut Kaan Tokgoz 박사는 덧붙였습니다. 연구 단위와 현재 터키의 Sabanci University와 함께합니다.
교육 데이터가 매우 소중하기 때문에 엔지니어는 에지 AI 장치를 교육하는 데 사용할 수 있는 상당히 제한된 양의 데이터를 최대한 활용하는 새로운 방법을 모색하기 시작했습니다. 이 분야의 중요한 추세는 "데이터 확대"로 알려진 기술을 사용하는 것입니다. 이 기술에서는 실제 응용 프로그램에서 발생할 수 있는 변동성과 불확실성을 모방하기 위해 경험에 따라 합리적이라고 간주되는 일부 조작을 기록된 데이터에 적용합니다. "예를 들어, 이전 작업에서 우리는 모니터링된 소의 목 주위에 가속 센서가 포함된 목걸이의 예측할 수 없는 회전을 시뮬레이션했으며 이러한 방식으로 생성된 추가 데이터가 행동 분류의 성능을 실제로 향상시킬 수 있음을 발견했습니다."라고 설명합니다. 차오리 씨, 박사 과정 학생이자 연구의 주 저자[1]. "그러나 우리는 센서 시계열을 보강하기 위해 원칙적으로 모든 종류의 데이터에 사용할 수 있고 측정 조건에 대해 특정 가정을 하지 않는 훨씬 더 일반적인 접근 방식이 필요하다는 것도 깨달았습니다. 게다가 실제 상황에서 실제로 두 가지 문제가 관련되어 있지만 별개입니다. 첫 번째는 전체 훈련 데이터의 양이 종종 제한적이라는 것입니다. 두 번째는 일부 상황이나 조건이 다른 상황보다 훨씬 더 자주 발생하며 이는 불가피합니다. 예를 들어 소는 자연적으로 소비합니다. 그러나, 동물의 복지 상태를 제대로 판단하기 위해서는 덜 빈번한 행동을 정확하게 측정하는 것이 매우 중요합니다. 음주 분류의 정확성은 희귀성으로 인해 일반적인 교육 접근 방식에 낮은 영향을 미칠 수 있다고 생각합니다. 이를 데이터 불균형 문제라고 합니다."라고 그녀는 덧붙입니다.
Tokyo Tech의 연구원이 수행하고 초기에 가축 행동 모니터링 개선을 목표로 한 전산 연구는 두 가지 매우 다르고 보완적인 접근 방식을 결합하여 이러한 문제에 대한 가능한 솔루션을 제공합니다. 첫 번째는 샘플링으로 알려져 있으며 분류할 조건에 해당하는 시계열의 "스니펫"을 추출하는 것으로 구성되며 항상 서로 다른 임의의 순간에서 시작합니다. 얼마나 많은 스니펫이 추출되는지는 신중하게 조정되어 얼마나 일반적이거나 드문지에 관계없이 분류할 모든 동작에서 항상 거의 동일한 수의 스니펫으로 끝납니다. 그 결과 보다 균형 잡힌 데이터 세트가 생성되어 신경망과 같은 분류기를 교육하기 위한 기반으로 확실히 선호됩니다. 이 절차는 실제 데이터의 하위 집합 선택을 기반으로 하기 때문에 덜 표현된 동작을 보완하기 위해 새 스니펫을 인위적으로 합성하여 발생할 수 있는 아티팩트 생성을 방지한다는 점에서 안전합니다. 두 번째 데이터는 대리 데이터로 알려져 있으며 기존 시계열에서 몇 가지 주요 기능을 보존하지만 완전히 상관관계가 없는 새로운 시계열을 생성하는 매우 강력한 수치 절차를 포함합니다. "특정 행동이 다른 행동에 비해 너무 드물 때 샘플링으로 인해 동일한 데이터가 많이 중복될 수 있기 때문에 이 선순환 조합이 매우 중요한 것으로 나타났습니다. 대리 데이터는 결코 동일하지 않으며 매우 부정적인 영향을 미칠 수 있는 이 문제를 방지합니다. 훈련 과정.
대체 시계열은 하나 이상의 신호의 위상을 완전히 뒤섞어서 생성되므로 시간 경과에 따른 변화를 고려할 때 완전히 인식할 수 없게 됩니다. 그러나 값의 분포, 자기상관, 신호가 여러 개인 경우 상호상관은 완벽하게 보존됩니다. "또 다른 이전 작업에서 우리는 시계열 역전 및 재결합과 같은 많은 경험적 작업이 실제로 교육을 개선하는 데 도움이 된다는 것을 발견했습니다. 이러한 작업이 데이터의 비선형 콘텐츠를 변경함에 따라 우리는 나중에 대리 동안 유지되는 일종의 선형 기능을 추론했습니다. 적어도 내가 집중하고 있는 젖소 행동 인식의 적용을 위해서는 세대가 성능의 핵심일 것입니다."라고 Ms. Chao Li는 설명합니다[2]. " 대리 시계열의 방법은 완전히 다른 분야, 즉 뇌와 같은 복잡한 시스템의 비선형 역학 연구에서 비롯되었으며, 이러한 시계열은 혼란스러운 행동과 소음을 구별하는 데 사용됩니다. 우리의 서로 다른 경험을 결합함으로써 우리는 그것들이 이 응용 프로그램에도 도움이 될 수 있다는 것을 금방 깨달았습니다."라고 이 연구의 두 번째 저자이자 Nano Sensing Unit과 함께하는 Ludovico Minati 박사는 덧붙입니다. 두 가지 응용 시나리오는 항상 동일하며 소의 행동을 반영하는 시계열에 적용되는 것이 다른 유형의 역학을 모니터링하는 다른 센서에는 유효하지 않을 수 있습니다. 어쨌든 제안된 방법의 우아함은 그것이 매우 본질적이고 단순하며 일반적이라는 것입니다. 그러므로,
인터뷰 후 연구팀은 이러한 유형의 연구는 소의 행동 분류를 개선하는 데 우선적으로 적용할 것이라고 설명했다. "우리의 주요 목표 중 하나는 평생 동안 소를 모니터링할 수 있는 작고 저렴한 장치에서 높은 정확도를 성공적으로 입증하여 질병을 조기에 발견하여 동물 복지뿐만 아니라 농업의 효율성과 지속 가능성을 실제로 개선하는 것입니다. " 이토 히로유키 박사는 결론을 내립니다. 방법론과 결과는 저널 IEEE Sensors [3] 에 발표된 최근 기사에 보고되었습니다 .
출처 : https://www.sciencedaily.com/