제너레이티브 AI가 엣지까지 확장되면서 AI PC와 스마트폰이 뜬다

[불스탁®]

제너레이티브 AI가 엣지까지 확장되면서 AI PC와 스마트폰이 뜬다

Lenovo 및 Xiaomi와 같은 주요 기업은 엣지 AI 개발에 대한 노력을 강화하여 생성 AI 물결을 클라우드에서 엣지 및 최종 사용자 장치로 확장하고 있습니다.

AI 모델을 최종 사용자 장치에 통합하면 사용자 경험이 향상되고 가전제품 시장이 활성화되는 동시에 AI 모델의 실제 사용을 발전시키는 데에도 똑같이 중요합니다

1. 생성 AI와 스마트 터미널 결합의 장점

1) 개인 데이터는 클라우드에 업로드되지 않으므로 개인 정보 보호 및 데이터 보안 위험이 줄어듬
2) AI 모델은 최종 사용자 데이터베이스 및 개인 정보에 연결하여 잠재적으로 일반 AI LLM을 맞춤형 소형 모델로 변환하고 개별 사용자에게 맞춤형 서비스를 제공 가능
3) AI LLM을 압축하고 최종 사용자 하드웨어 및 소프트웨어를 최적화함으로써 엣지 AI는 운영 비용을 절감하고 응답 시간을 향상하며 서비스 효율성을 높임

2. 최종 사용자 장치용 통합 칩: CPU+GPU+NPU

AI LLM의 경량화 및 현지화는 칩 기술의 발전에 달려 있습니다. Qualcomm, Intel, NVIDIA, AMD 등과 같은 주요 제조업체에서는 이러한 방향으로 제품을 출시해 왔습니다. 

PC용으로 설계된 Snapdragon X 시리즈의 첫 번째 프로세서인 Qualcomm의 Snapdragon X Elite는 수십억 개의 매개변수가 있는 대규모 언어 모델을 지원할 수 있는 전용 신경 처리 장치(NPU)를 통합합니다.

 Intel의 최신 Meteor Lake 프로세서는 처음으로 PC 프로세서에 NPU를 통합하여 NPU와 프로세서의 AI 기능을 결합하여 PC에서 AI 기능의 효율성을 향상시킵니다. 엔비디아와 AMD도 엣지 AI 시장 진출을 위해 2025년 Arm 아키텍처 기반 PC 칩을 출시할 계획이다.

클라우드에서 에지 및 최종 사용자 장치로 LLM을 확장할 때 AI 컴퓨팅에 대한 증가하는 수요를 충족하기 위해 CPU+GPU+NPU의 통합이 프로세서 개발의 미래가 될 것으로 예상됩니다. 이는 Chiplet 기술의 중요성을 강조합니다.

동일한 시스템에서 CPU, GPU, NPU를 고속으로 연결함으로써 칩 수준의 이질성을 통해 데이터 전송 속도를 높이고 데이터 액세스 전력을 줄이며 데이터 처리 속도를 높이고 스토리지 액세스 전력을 낮추어 LLM의 매개변수 요구 사항을 충족합니다. 

https://www.trendforce.com/news/2023/11/09/news-ai-pcs-and-smartphones-on-the-rise-as-generative-ai-expands-to-the-edge/

*** 본 정보는 투자 참고용 자료로서 그 정확성이나 완전성을 보장할 수 없으며, 어떠한 경우에도 법적 책임소재에 대한 증빙자료로 사용될 수 없습니다.

'돈' 잃지 마라! '돈'을 지켜라! 그리고 '돈'을 불려라!