실시간 추천 관련
1. 카나리 대신 필터사용하여 분기하는 방법 45분
https://www.youtube.com/watch?v=MTAc8-ygAaM
2. 추천 평가 기준
coverage, relevance, serendipity의 조화 ( 범위, 관련성, 의도하지 않았는데 얻게 된 행운이나 예상치 못한 성공 )
luck이나 chance라고 써도 비슷한 뜻이 되지만, 이런 단어들은 상황에 따라 나쁜 결과를 낳을 수 있다는 점에서 세렌디피티와는 조금 다르다. 세렌디피티는 좋은 결과로 이어진 경우에만 쓴다
3. 자동화 MLOPS
Step function 을 이용
4. 사용자 interactions 실시간 update 아키텍쳐 42분
https://www.youtube.com/watch?v=MTAc8-ygAaM
5. 배치 추천 아키텍쳐 52분
https://www.youtube.com/watch?v=MTAc8-ygAaM
6. 동적 필터 45분
https://www.youtube.com/watch?v=MTAc8-ygAaM
-------------------------------------------------------------
1. Amazon kinesis data firehose
타겟 지점은 한군데 밖에 설정 불가. -> 해결 -> Amazon kinesis data Streams
2. 추천 + 데이터분석 아키텍쳐 - 53분
https://www.youtube.com/watch?v=4ZG_2C_uR9M
3. 추천 성과 측정을 위한 데이터
추천 아이템 노출 횟수
추천 아이템 클릭 횟수
추천 아이템 노출 위치
4. 추천 성과 분석 - 30분, 33분 , 50분
https://www.youtube.com/watch?v=4ZG_2C_uR9M
1. e-commerce 주요 지표
1) retention rate 체류시간
2) churn rate 이탈률
3) conversion rate 전환율
2. 추천 알고리즘 지표 - a/b test
1) coverage
2) ctr(click-through rate)
~ relevance + serendipity
-------------------------------------------------------------
https://www.youtube.com/watch?v=4ZG_2C_uR9M
1. 데이터의 구조
1) structured date
2) semi-strunctured data - json data
3) unstructured date
2. 데이터의 온도 ( data temperature spectrum )
엑세스 주기, 속도 등
3. 데이터파이프 라인의 구축 - 수집 및 가공
time to answer latency (속도 )
throughput(처리량)
비용(cost)
4. stream storage 사용 이유
직접연결을 피하여 디커플링 시킬 수 있다.
생산자 소비자와의 속도 차이를 해결 할 수 있다.
복수 생산자의 데이터를 하나로 합치려는 경우
내부적으로는 여러 버퍼나 큐를 가지고 있어 동시 소비 가능.
5. stream storage
인메모리 큐 라고 생각하면 된다.
인메모리 큐와 다른 점은
데이터를 버리지 않고 offset만 변경 시킨다.
6. kinesis msk 의 비교
오픈소스 kafka 를 managed 하는 형식이다 보니 다른 aws 서비스와 integration이 원활하지 않다.
kafka의 경우 기존 연동 서비스와 연동하면 된다.
7. firehorse
약간의 etl 작업도 가능하다. ( 람다 사용하여 가공 가능 )
8. 아테나 ,s3 의 경우는 배치 작업에 유리하다.
실시간 분석에는 어울리지 않는다.
9. aws emr ??
Amazon EMR (이전에는 Amazon Elastic MapReduce라고 함) 은 빅 데이터 프레임워크 실행을 간소화하는 관리형 클러스터 플랫폼입니다
(예:).Apache 하둡과 Apache Spark, 켜기AWS은 방대한 양의 데이터를 처리 및 분석합니다. 이러한 프레임워크와 관련 오픈 소스 프로젝트를 사용하여 분석 목적과 비즈니스 인텔리전스 워크로드를 처리할 수 있습니다.
또한 Amazon EMR을 사용하면 대량의 데이터를 다른 데이터를 양방향으로 변환하고 이동할 수 있습니다.AWSAmazon Simple Storage Service (Amazon S3) 및 Amazon DynamoDB와 같은 데이터 스토어 및 데이터베이스입니다.
Amazon EMR (previously called Amazon Elastic MapReduce) is a managed cluster platform that simplifies running big data frameworks, such as Apache Hadoop and Apache Spark
, on AWS to process and analyze vast amounts of data.
Using these frameworks and related open-source projects, you can process data for analytics purposes and business intelligence workloads.
Amazon EMR also lets you transform and move large amounts of data into and out of other AWS data stores and databases, such as Amazon Simple Storage Service (Amazon S3) and Amazon DynamoDB.
10. s3 컴퓨팅과 스토리지의 디커플링
11. 각 단계를 분리하여 최적의 솔루션을 선택하라.
12. 운영관점에서 무엇이 편한가를 생각해라.
운영의 효율성. 보안
13. 데이터 저장시 RDS 관점으로 생각하지 마라.
REPLACE 가 아닌 변경 항목만 적재 후, FETCH 시점에 가져온다던지로 생각하라.
immutable log 관점
14. 설계시, 거꾸로 생각하라.
목적을 먼저 생각하고 역 으로 설계하라.
-------------------------------------------------------------
추천 시스템의 원리와 구축 사례
https://www.youtube.com/watch?v=MTAc8-ygAaM
1. e-commerce 주요 지표
1) retention rate 체류시간
2) churn rate 이탈률
3) conversion rate 전환율
2. 추천 알고리즘 지표 - a/b test
1) coverage
2) ctr(click-through rate)
~ relevance + serendipity
1. kinesis firehorse는 단일 destination 을 지원한다.
-------------------------------------------------------------
지그재그 구성 사례
1. 에어플로우 사용하여 전처리 및 etl 처리
2.
3. 사례
상품영역을 세분화화여 다른 개인화 추천 전략을 사용했다.
-------------------------------------------------------------
aws ab test 소개
https://www.youtube.com/watch?v=5WysxAYDH1k
-------------------------------------------------------------
AWS API Gateway + Lambda 로 A/B 테스트하기
https://haandol.github.io/2020/06/25/aws-serverless-abtest.html
lambda 에는 별칭을 사용하여 2개의 버전에 대하여 트래픽을 지정할 수 있다.
특정대상 타겟팅
특정기능 롤링 배포
특정 기능 롤백
-----------------------------------------------------------------
AWS Parameter store
애플리케이션에는 외부에 노출되어서는 안 되는 비밀 값들이 있습니다. 예를 들면, 데이터베이스 접속 정보, 외부 API 서비스를 이용하기 위한 비밀 액세스 키 등이 있습니다.
이런 값들은 소스코드와 함께 서버에서 사용되지만 소스코드보다 훨씬 더 안전하게 관리되어야 합니다. 이런 값들을 관리하는 다양한 방법 중 AWS System Manager의 Parameter Store에 대해 소개하겠습니다.
파라미터 스토어의 특징으로는
무료다.
키-값 쌍으로 값을 저장한다.
KMS를 이용해 암호화된 값을 저장할 수 있다.
IAM을 이용해 일부 사용자만 접근할 수 있도록 설정할 수 있다.
값에 대한 변경 이력까지 저장하고 있다.
사용 방법이 간단하며 관리가 쉽다.
https://dublin-java.tistory.com/66