구글AI헤븐 #우리GHTf #필독 #구글 = #AI킹오브갑 #특허괴물 #기술독점 #글로벌기업 #ICML #제38차국제회의 #AI논문101

[동래정씨패밀리서울중앙화수회정현정]

* 출처 인공지능신문
2021-07-25 오전 09:06 제공 *

http://www.aitimes.kr/news/articleView.html?idxno=21837

인공지능 머신러닝 절대 강자 '구글'... ICML 2021에서 AI 논문 무려 116건 채택, 그 내용은? - 인공지

새로운 학습 방법 등과 언어, 음악, 시각 처리

등의 다양한 영역에서 심층적인 과학 및 엔지니어링 문제의 해결 방안 제시하고 최신 AI기술의 인사이트를 공유

아래 논문 '옴니넷: 트랜스포머의 전방향 표현'에서 주어진 예시 세트에 대한 무지향성 표현의 다양한 레이어 기여 이미지 캡처

현지시간 18일부터 24일까지 가상으로 7일간 펼쳐진,

인공지능 분야의 글로벌 최고의 학술회의 '머신러닝에 관한

제38차 국제회의 2021

(The Thirty-eighth International Conference on Machine Learning, ICML 2021)'이 막을 내렸다.

특히,

이번 행사에서 구글의 행보는 놀랍다.

구글은 ICML 2021에 승인된 무려 101개의 논문을 단독연구

또는,

LG AI 연구소, 마이크로소프트, 카네기멜론대학교(Carnegie Mellon) 등

전 세계 많은 기업 또는 기관들과 공동연구를 통해, 

그리고,

별도로 워크숍을 통해 15개의 논문을 발표하고 AI 머신러닝의 절대 강자로

더 광범위한 머신러닝 연구 커뮤니티와의 지속적인 파트너십을 기대한다고 밝혔다.

이번에,

발표된 논문은 구글의 인공지능 머신러닝의 이론에서부터 응용에 이르기까지,

머신러닝 분야 전반에 걸쳐 연구를 적극적으로 추구하고 있다며,

확장 가능한 도구와 아키텍처를 사용하여 광범위한 AI 머신러닝을 구축하고 언어, 음악, 시각 처리

등의 영역에서 심층적인 과학 및 엔지니어링 문제를 해결 방안을 제시했다.

워크숍에서 발표한 15개를 제외한 ICML 2021에서 발표된,

구글이 관여한 전체 논문 101개를 통해(아래참조)

 가장 최근의 인공지능의 흐름과 관련 새로운 학습방법,

다양한 애플리케이션 등을 통해 AI와 머신러닝의 현재와 미래의 비전을 갈음해본다. 

이미지:구글

열린 예측 관계를 가진 가상 지식 기반 추론

(Reasoning Over Virtual Knowledge Bases With Open Predicate Relations).

멜팅 포트를 사용한 다중 에이전트 강화 학습의 확장 가능한 평가

(Scalable Eval‎uation of Multi-agent Reinforcement Learning with Melting Pot).

배치 정책 최적화 알고리즘의 최적성에 대한 연구

(On the Optimality of Batch Policy Optimization Algorithms).

낮은 순위의 싱크혼 인수분해

(Low-Rank Sinkhorn Factorization).

이산형 분포를 위한 확장 가능한 샘플링

(Oops I Took A Gradient: Scalable Sampling for Discrete Distributions).

PID 가속 값 반복 알고리즘

(PID Accelerated Value Iteration Algorithm).

선호도(결투) 피드백으로 볼록 최적화 문제 해결

(Dueling Convex Optimization).

베이지안 신경망 후방은 실제로 무엇과 같습니까?

(What Are Bayesian Neural Network Posteriors Really Like?).

유사 학습을 통한 오프라인 강화학습 방법

(Offline Reinforcement Learning with Pseudometric Learning).

보다 통찰력 있고 포괄적인 심층 강화학습 연구 촉진

(Revisiting Rainbow: Promoting More Insightful and Inclusive Deep Reinforcement Learning Research).

간단하지만 효과적인 오프라인 및 온라인 강화학습을 위한 예상 최대 Q-Learning 연산자

(EMaQ: Expected-Max Q-Learning Operator for Simple Yet Effective Offline and Online RL).

학습된 역관측 연산자와의 변동 데이터 동화

(Variational Data Assimilation with a Learned Inverse Observation Operator).

기계학습을 위한 동적 손실 함수

(Tilting the Playing Field: Dynamical Loss Functions for Machine Learning).

잠재 공간 연계를 통한 모델기반 강화학습

(Model-Based Reinforcement Learning via Latent-Space Collocation),

모멘텀 잔여 신경망

(Momentum Residual Neural Networks).

옴니넷: 트랜스포머의 전방향 표현

(OmniNet: Omnidirectional Representations from Transformers).

신디사이저: 트랜스포머 모델에 대한 자기 주의를 재고

(Synthesizer: Rethinking Self-Attention for Transformer Models).

도메인-불가지론 대조 학습

(Towards Domain-Agnostic Contrastive Learning).

다중 에이전트 강화 학습을 위한 랜덤화된 엔티티 기반 요인화

(Randomized Entity-wise Factorization for Multi-agent Reinforcement Learning).

LIME: 수학적 추론의 기본 요소에 대한 귀납적 편향학습

(LIME: Learning Inductive Bias for Primitives of Mathematical Reasoning).

다중 에이전트 강화 학습을 통한 새로운 사회학습

(Emergent Social Learning via Multi-agent Reinforcement Learning).

에너지 기반 모델의 대조적 다양성 학습 개선

(Improved Contrastive Divergence Training of Energy-Based Models).

과모수화된 모형에서 레이블 지정 데이터의 구조적 규칙성 특성화

(Characterizing Structural Regularities of Labeled Data in Overparameterized Models).

실행 가능한 모델: 로봇 기술에 대한 감독 없는 오프라인 강화학습

(Actionable Models: Unsupervised Offline Reinforcement Learning of Robotic Skills).

PsiPhi-Learning: 후속 기능 및 역 시간차 학습을 사용한 시연을 통한 강화학습

(PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning).

효율적인넷V2:더 작은 모델과 더 빠른 교육

(EfficientNetV2: Smaller Models and Faster Training).

지속적 진화 전략을 사용하는 언롤드 계산 그래프에서의 비편향 기울기 추정

(Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies).

연합 복합 최적화

(Federated Composite Optimization).

가벼운 RUM

(Light RUMs).

캣포머: 민감도 분석을 통한 안정적인 트랜스포머 설계

(Catformer: Designing Stable Transformers via Sensitivity Analysis).

순차적인 의사 결정을 위한 오프라인 사전 학습

(Representation Matters: Offline Pretraining for Sequential Decision Making).

강화학습을 위한 표현학습으로 다양한 역량 강화

(Variational Empowerment as Representation Learning for Goal-Conditioned Reinforcement Learning).

편차 감소 너머: 정책 최적화에 대한 기준선의 진정한 영향

(Beyond Variance Reduction: Understanding the True Impact of Baselines on Policy Optimization).

화이트닝과 2차 최적화 모두 학습 중에 데이터셋의 정보를 사용할 수 없게 만들고 일반화를 줄이거나 방지

(Whitening and Second Order Optimization Both Make Information in the Dataset Unusable During Training, and Can Reduce or Prevent Generalization).

차별적으로 훈련된 분류자의 피드포워드 반전을 통한 불변성 이해

(Understanding Invariance via Feedforward Inversion of Discriminatively Trained Classifiers).

정책정보능력: 심층 강화학습에서의 업무 복잡성에 대한 정보이론적 측정

(Policy Information Capacity: Information-Theoretic Measure for Task Complexity in Deep Reinforcement Learning).

모방 학습을 위한 초매개변수 선택

(Hyperparameter Selection for Imitation Learning).

대규모 출력 공간에서 학습을 위한 샘플링 및 레이블 지정 편향 풀기

(Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces).

동적 준비 가격에서 수익-유인 트레이드오프

(Revenue-Incentive Tradeoffs in Dynamic Reserve Pricing).

대략적인 이중 수준 최적화를 위한 1차 휴리스틱 편향성 제거

(Debiasing a First-Order Heuristic for Approximate Bi-Level Optimization).

행위자-비판자 및 정책 구배 간의 격차 특성화

(Characterizing the Gap Between Actor-Critic and Policy Gradient).

역문제에 대한 흐름 정규화 구성

(Composing Normalizing Flows for Inverse Problems).

√T Regret가 있는 선형 2차 조정기의 모델 자유 학습을 위한 온라인 정책 기울기

(Online Policy Gradient for Model Free Learning of Linear Quadratic Regulators with √T Regret).

움직이는 대상에 대한 가격 책정 방법 학습

(Learning to Price Against a Moving Target).

온라인 선택의 공정성과 편견

(Fairness and Bias in Online Selection).

기록연계가 분할데이터로부터의 학습에 미치는 영향

(The Impact of Record Linkage on Learning from Feature Partitioned Data).

디스플레이 광고의 최초 가격 경매를 위한 예비 가격 최적화

(Reserve Price Optimization for First Price Auctions in Display Advertising).

반복 학습 제어에 대한 후회 최소화 접근법

(A Regret Minimization Approach to Iterative Learning Control).

증류에 대한 통계적 관점

(A Statistical Perspective on Distillation).

최상의 모델 식별: 휴지된 Bandits 공식

(Best Model Identification: A Rested Bandit Formulation).

일반화된 립시츠 규칙화는 분포 강인성과 같다

(Generalised Lipschitz Regularisation Equals Distributional Robustness).

무제한 지연 분포를 가진 확률적 다중 무장 Bandits

(Stochastic Multi-armed Bandits with Unrestricted Delay Distributions).

정규화된 온라인 할당 문제: 공정성과 그 너머

(Regularized Online Allocation Problems: Fairness and Beyond).

비분해성 객체의 암시적 속도 제약 최적화

(Implicit Rate-Constrained Optimization of Non-decomposable Objectives).

1차 비볼록 최적화에서 불균일성 활용

(Leveraging Non-uniformity in First-Order Non-Convex Optimization).

Bandits 및 강화학습에서 모델 선택을 위한 동적 균형 조정

(Dynamic Balancing for Model Selection in Bandits and RL).

적대적인 이중 Bandits

(Adversarial Dueling Bandits).

반복 예제 가중치로 블랙박스 메트릭 최적화

(Optimizing Black-Box Metrics with Iterative Example Weighting).

상대 편차 한계 경계

(Relative Deviation Margin Bounds).

MC-LSTM: LSTM 대량 보존

(MC-LSTM: Mass-Conserving LSTM).

Koopman Operators를 통한 12-Lead ECG 재건

(12-Lead ECG Reconstruction via Koopman Operators).

이산 푸리에 확장을 통해 관련 정보 찾기

(Finding Relevant Information via a Discrete Fourier Expansion).

레고: 지식 그래프에 대한 멀티홉 질문에 대한 잠재 실행 유도 추론

(LEGO: Latent Execution-Guided Reasoning for Multi-hop Question Answering on Knowledge Graphs).

스프레드시트 코더 반구조적 컨텍스트의 공식 예측

(SpreadsheetCoder: Formula Prediction from Semi-structured Context).

확률적 지연이 있는 조합 차단 Bandits

(Combinatorial Blocking Bandits with Stochastic Delays).

log2(T)를 넘어서 매칭 시장의 분산된 Bandits에 대한

(Beyond log2(T) Regret for Decentralized Bandits in Matching Markets).

제한된 예산으로 Linear Bandits에 대한 강력한 순수 탐색

(Robust Pure Exploration in Linear Bandits with Limited Budget).

잠재 프로그래머: 프로그램 합성을 위한 잠재 코드를 분리

(Latent Programmer: Discrete Latent Codes for Program Synthesis).

노이즈가 많은 텍스트 감독을 통해 시각 및 시각 언어 표현 학습 스케일업

(Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision).

학습된 표현의 선형 식별 가능성

(On Linear Identifiability of Learned Representations).

데이터 스트림의 계층적 클러스터링: 확장 가능한 알고리즘 및 근사치 보장

(Hierarchical Clustering of Data Streams: Scalable Algorithms and Approximation Guarantees).

차등 개인 분위수

(Differentially Private Quantiles).

액티브 커버링

(Active Covering).

ShaRF: 단일 보기에서 모양에 따라 조절된 래디언스 필드

(Sharf: Shape-Conditioned Radiance Fields from a Single View).

Few-Shot 데이터 일반화를 위한 범용 템플릿 학습

(Learning a Universal Template for Few-Shot Dataset Generalization).

개인 대체 최소 광장: 더 엄격한 요금을 가진 실제 개인 매트릭스 완성

(Private Alternating Least Squares: Practical Private Matrix Completion with Tighter Rates).

간편한 인스턴스의 차등 프라이빗 클러스터링

(Differentially-Private Clustering of Easy Instances).

레이블 전용 멤버십 추론 공격입

(Label-Only Membership Inference Attacks).

암시적 3차원 표현에서의 신경 특성 매칭

(Neural Feature Matching in Implicit 3D Representations).

로컬 전용 k-Means는 한 라운드로 수행

(Locally Private k-Means in One Round).

연속적인 궤적 이동을 통한 대규모 메타러닝

(Large-Scale Meta-learning with Continual Trajectory Shifting).

종속 데이터의 통계적 추정

(Statistical Estimation from Dependent Data).

원 샷 차등 비공개 Top-k 선택

(Oneshot Differentially Private Top-k Selection).

플로우 캡슐에 의한 감독되지 않은 부품 표현

(Unsupervised Part Representation by Flow Capsules).

개인 확률적 볼록 최적화 : L1 기하학의 최적 비율

(Private Stochastic Convex Optimization: Optimal Rates in L1 Geometry).

샘플링 또는 셔플링이 없는 실용적인 개인(심층) 학습

(Practical and Private (Deep) Learning Without Sampling or Shuffling).

Shuffle 모델의 차등 비공개 집계: 하나의 메시지에서 중앙 정확도

(Differentially Private Aggregation in the Shuffle Model: Almost Central Accuracy in Almost a Single Message).

실용적인 개인 쿼리 릴리스를 위한 공개 데이터 활용

(Leveraging Public Data for Practical Private Query Release).

메타 톰슨 샘플링

(Meta-Thompson Sampling).

암시적-PDF: 회전 다양체에 대한 확률 분포의 비모수 표현

(Implicit-PDF: Non-parametric Representation of Probability Distributions on the Rotation Manifold).

코어셋을 통한 울트라메트릭스 임베딩 개선

(Improving Ultrametrics Embeddings Through Coresets).

다중 소스 적응을 위한 판별 기술

(A Discriminative Technique for Multiple-Source Adaptation).

리소스가 풍부한 기계 번역에 대한 자기 감독 및 감독 공동 학습

(Self-Supervised and Supervised Joint Training for Resource-Rich Machine Translation).

일정한 다수의 병렬 라운드에서 상관 클러스터링

(Correlation Clustering in Constant Many Parallel Rounds).

선형 시간의 계층적 응집 그래프 클러스터링

(Hierarchical Agglomerative Graph Clustering in Nearly-Linear Time).

메타 학습 양방향 업데이트 규칙

(Meta-learning Bidirectional Update Rules).

2인용 게임의 이산화 드리프트

(Discretization Drift in Two-Player Games).

주의가 필요한 것은 아니다: 순수한 관심은 깊이에 따라 두 배로 기하급수적으로 순위가 떨어진다

(Attention Is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth).

Learn2Hop: 거친 풍경에 대한 학습된 최적화

(Learn2Hop: Learned Optimization on Rough Landscapes).

로컬 적응형 레이블 평활화는 예측 변동을 개선

(Locally Adaptive Label Smoothing Improves Predictive Churn).

베이지안 생성적 정규화로 치명적인 망각 극복

(Overcoming Catastrophic Forgetting by Bayesian Generative Regularization).

[동래정씨패밀리서울중앙화수회정현정]

* 출처 참고 링크 :

http://www.aitimes.kr/news/articleView.html?idxno=21837

[동래정씨패밀리서울중앙화수회정현정]

#우리GHTf #HellOTreeS #안녕나무씨

HellO ? TreeS ! team's project is now off the mark. = #We'reGHTf

I hope this helps as your team contemplates the project. = #EUteam

Deadlines are always pushed up and there are many sleepless nights spent trying to get the project done with the team. =We'reGHTf

We are working closely with the team guiding that project. =USAteam

HellO ? TreeS ! team will address to a new project from next month. = #We'reGHTf

Four teams studied the projects in detail. = #EUteam + #USAteam #Asiateam + #HellO?TreeS!team

[동래정씨패밀리서울중앙화수회정현정]

It’s become our top priority until we get it finished. = #We'reGHTf

As always, I appreciate all that your team is doing there to make this project a success. = #EUteam

by. HellO ? TreeS ! of CEO. Hyunjung,JUNG

[동래정씨패밀리서울중앙화수회정현정]