현재 많은 고등 교육 기관에서는 데이터와 분석을 프로세스의 필수적인 부분으로 사용하고 있습니다. 목표가 학생 여정의 문제점을 식별하고 더 효과적으로 지원하는 것, 리소스를 보다 효율적으로 할당하는 것, 학생 및 교직원 경험을 개선하는 것 등 교육 기관에서는 데이터 기반 솔루션의 이점을 확인하고 있습니다.
공유하다
사이드바
저자 소개
이러한 추세의 최전선에 있는 사람들은 분석을 활용하여 프로그램 개인화 및 유연성을 높이고 중퇴 위험에 처한 학생을 식별하고 맞춤형 개입을 통해 사전에 접근함으로써 유지율을 높이는 데 중점을 두고 있습니다. 실제로 데이터 과학과 기계 학습은 더 많은 학생의 접근성과 학생 참여 및 만족도를 향상시킬 수 있는 가장 영향력 있는 기회에 리소스를 집중함으로써 대학에 상당한 가치를 부여할 수 있습니다.
예를 들어, 유타에 있는 Western Governors University는 예측 모델링을 사용하여 위험에 처한 학생을 식별하고 조기 개입 프로그램을 개발함으로써 유지율을 향상시키고 있습니다. 초기 노력으로 2018년부터 2020년 사이에 이 대학의 4년제 학부 프로그램 졸업률이 5% 포인트 증가했습니다.1
그러나 고등교육은 아직 데이터 역량 구축의 초기 단계에 있습니다. 대학이 많은 과제(재정적 압박, 인구통계학적 절벽, 학생 정신 건강 문제 증가 등)와 다양한 기회(성인 학습자 접근 및 온라인 학습 확장 포함)에 직면해 있는 상황에서 고급 분석 및 기계 학습의 사용을 확대할 수 있습니다. 유익한 것으로 입증됩니다.
아래에서는 대학이 현재의 과제를 극복하기 위해 이러한 기회를 어떻게 활용하고 있는지 보여주기 위해 고등 교육 분야의 고급 분석에 대한 가장 유망한 사용 사례 중 일부를 공유하여 더 많은 학생이 액세스할 수 있도록 하고 학생 경험을 향상시킵니다.
데이터 과학 및 기계 학습은 더 많은 학생의 접근성과 학생 참여 및 만족도를 향상시킬 수 있는 가장 영향력 있는 기회에 리소스를 집중함으로써 대학에 상당한 가치를 부여할 수 있습니다.
고등교육 분야에서 고급 분석의 잠재력
고급 분석 기술은 교육 기관이 학생 집단에 대해 훨씬 더 깊은 통찰력을 얻고 선형 규칙 기반 접근 방식에 의존하는 설명 및 진단 분석을 통해 달성할 수 있는 것보다 더 미묘한 위험을 식별하는 데 도움이 될 수 있습니다(그림 1).
또한 그라디언트 부스팅 및 랜덤 포레스트와 같은 알고리즘의 강력한 기능을 사용하는 고급 분석은 교육 기관이 위험에 처한 학생을 식별하는 기존 방법의 부주의한 편견을 해결하고 식별된 위험의 대부분을 완화하기 위해 맞춤형 개입을 사전에 설계하는 데 도움이 될 수 있습니다.
예를 들어, 선형 규칙 기반 접근 방식을 사용하는 교육 기관에서는 낮은 성적, 낮은 출석률 등의 지표를 조사하여 중퇴 위험이 있는 학생을 식별합니다. 그런 다음 교육 기관에서는 이러한 학생들에게 다가가 더 나은 지원을 위한 계획을 시작합니다. 이러한 계획은 유용할 수 있지만 너무 늦게 구현되는 경우가 많으며 위험에 처한 인구의 하위 집합만을 대상으로 합니다. 이 접근 방식은 대학의 학생 성공 리더가 직면한 두 가지 문제에 대한 좋은 임시 해결책이 될 수 있습니다. 첫째, 탈락 위험을 나타내기 위해 분석할 수 있는 변수(학업적, 재정적, 정신 건강 요인, 캠퍼스 내 소속감 등)가 너무 많습니다. 둘째, 하나 또는 두 개의 변수에 대한 눈에 띄는 분산을 식별하는 것은 쉽지만 여러 변수에 대한 명목 분산을 식별하는 것은 어렵습니다. 따라서 선형, 규칙 기반 접근 방식은 예를 들어 괜찮은 성적과 평균 이상의 출석률을 가지고 있지만 과제를 제때 제출하는 데 어려움을 겪고 있거나 지속적으로 청구서 지불에 어려움을 겪는 학생을 식별하지 못할 수 있습니다(그림 2).
머신러닝 모델은 위에서 설명한 두 가지 과제를 모두 해결할 수 있습니다. 이러한 모델은 대학이 학생의 탈락 위험을 조기에 판단하는 데 도움이 될 수 있는 요소를 식별하기 위해 10년간의 데이터를 조사합니다. 예를 들어, 학생이 대학 포털에서 결제 수단을 변경했습니까? 학생이 과제를 마감일까지 얼마나 가까이 제출합니까? 교육기관에서는 위험에 처한 학생을 식별한 후에는 이들을 유지하기 위해 적극적으로 개입할 수 있습니다.
많은 교육 기관이 학생과의 커뮤니케이션을 개인화하고, 유지율을 높이며, 학생 경험과 참여를 향상시키기 위한 분석의 가능성을 인식하고 있지만, 교육 기관에서는 학생 여정 전반에 걸쳐 장래, 현재, 이전의 모든 사용 사례에 이러한 접근 방식을 사용할 수 있습니다. 학생들도 마찬가지다.
예를 들어, 고급 분석은 기관이 기관에 가장 적합할 가능성이 높은 예비 학생에게 접근하기 위해 집중해야 할 고등학교, 우편번호 및 카운티를 식별하는 데 도움이 될 수 있습니다. 기계 학습은 또한 학생 만족도를 측정하고 높이는 데 도움이 되도록 등록된 학생의 다양한 유형에 제공되어야 하는 개입과 지원을 식별하는 데 도움이 될 수 있습니다. 이러한 사용 사례는 졸업 이후에도 학생의 기술 개발을 지원하는 데까지 확장될 수 있으며, 이를 통해 교육 기관은 지속적인 학습 기회를 제공하고 동문의 참여를 더 높일 수 있습니다. 교육 기관이 학생 생활 주기 전반에 걸쳐 고급 분석 도구의 적용 범위와 적용 범위를 확장함에 따라 모델은 패턴 식별 능력이 향상되고 교육 기관은 점점 더 세분화된 개입과 조치를 취할 수 있습니다.
이러한 잠재력을 활용하기 위해 머신러닝 배포
교육 기관에서는 학생들에게 더 나은 서비스를 제공하기 위해 기계 학습을 활용하는 다단계 모델을 채택하기를 원할 것입니다. 예를 들어, 학생 이수율 및 졸업률 향상을 목표로 하는 노력의 경우 다음 5단계 기술은 엄청난 가치를 창출할 수 있습니다.
다년간의 과거 데이터에서 150개 이상의 속성을 분석하여 "성공한 학생", 즉 합리적인 기간 내에 졸업한 사람의 특성을 이해합니다.
기준선과 비교하여 주요 학생 부문의 학생 성공을 향상시키기 위한 목표를 정의합니다. 예를 들어, 교육기관에서는 특정 기간 내에 졸업률을 5% 향상시키는 것을 목표로 할 수 있습니다.
기록 데이터를 사용하여 초기 기계 학습 모델을 구축하여 높은 감소 위험을 나타내는 30~50개의 속성을 식별한 다음 대학의 기존 측정값과 같은 기준에 대해 모델의 효율성을 측정합니다.
이러한 특성을 기반으로 인구 편향이나 편견에 대한 감소 및 백테스트 위험이 있는 학생의 원형을 구축합니다.
각 원형의 학생들에게 가장 적합한 맞춤형 개입을 개발하고 구현합니다.
교육기관에서는 이 모델을 정기적으로 배포하여 추가 지원을 통해 가장 큰 혜택을 받을 학생을 식별할 수 있습니다.
기관에서는 리드 생성 및 등록을 포함한 다른 전략적 목표나 과제를 해결하기 위해 유사한 모델을 만들 수도 있습니다. 예를 들어, 교육기관은 첫 번째 단계로 수년간의 과거 데이터에서 100개 이상의 속성을 분석하여 등록할 가능성이 가장 높은 지원자의 특성을 이해할 수 있습니다.
교육 기관에서는 학생들에게 더 나은 서비스를 제공하기 위해 기계 학습을 활용하는 다단계 모델을 채택하기를 원할 것입니다.
실행 중인 고급 분석: 교육기관이 등록, 유지 및 궁극적으로 학생 경험을 개선한 방법
등록 및 유지를 개선하기 위해 고급 분석을 활용한 두 고등 교육 기관의 경험은 그러한 노력이 미칠 수 있는 영향을 보여줍니다.
더 많은 학생들에게 다가가기 위한 비영리 사립대학의 노력
한 비영리 사립 대학은 최근 역사상 가장 많은 신입생을 등록했으며 다시 등록을 늘리려고 했습니다. 교육기관은 교육기관에 매우 적합한 더 많은 유망한 1학년 학부생에게 다가가고, 투자와 리소스를 크게 늘리지 않고도 등록 팀이 관리할 수 있는 방식으로 등록 과정에서 전환율을 향상시키기를 원했습니다. 대학은 세 가지 중요한 조치를 취했습니다.
적용 가능성이 가장 높은 사람들에게 '퍼널 상단' 마케팅 지출을 할당합니다. 이 대학은 고급 분석을 사용하여 어떤 리드(예비 학생)가 적용될 가능성이 가장 높은지 예측하는 기계 학습 모델을 개발했습니다. 그 결과, 대학은 지원자의 약 90%를 차지하는 상위 10%의 리드를 식별할 수 있었습니다. 이를 통해 팀은 다음 가을에 지원 활동을 즉시 전환하여 아직 적용되지 않은 리드 중 상위 10%에 우선 순위를 부여하고 해당 지원 활동에 대한 더 높은 투자 수익을 보장할 수 있었습니다. 앞으로 이를 통해 기관은 동일한 수의 지원자를 달성하기 위해 마케팅 지출을 줄이거나 더 크고 잠재적으로 더 경쟁력 있는 지원자 풀을 만들기 위해 지출 수준을 유지할 수 있는 유연성을 갖게 됩니다.
높은 입학 가능성을 예측하는 원형에 집중적으로 노력합니다. 어떤 예비 학생이 지원할지 예측하기 위한 고급 분석 모델을 보완하기 위해 교육 기관에서는 어떤 지원자가 등록할지 예측하기 위한 유사한 모델을 개발했습니다. 이 모델은 지원 과정에서 생성된 풍부한 추가 데이터와 광범위한 인구통계 데이터를 통합하여 대학이 등록의 약 85%를 차지하는 상위 40%의 지원자를 식별할 수 있도록 했습니다. 그런 다음 고급 분석을 통해 잠재력이 높은 지원자를 다양한 수준의 예상 전환율과 함께 5가지 유형으로 분류할 수 있습니다. 예를 들어, 한 전형은 특정 예술 프로그램에 대한 강한 관심을 바탕으로 대학을 찾는 학생들(즉, 무보수 출신)이 특징이었으며, 이들 지원자 중 대략 3명 중 1명이 등록했습니다. 이러한 원형 세분화를 통해 대학은 수익률 기간 동안 지원자에 대한 접근 방식을 보다 효과적으로 우선순위화하고 맞춤화할 수 있습니다. 또한 이는 다른 전략적 등록 관리 우선순위에 비해 등록 증가를 목표로 삼는 데 있어서 교육기관에 향후 유연성을 제공합니다.
아직 활용되지 않은 '유사한' 시장 식별: 인구통계 및 기타 지역 데이터의 통합을 통해 기관은 현재 모집하고 있는 시장 내에서 잠재성이 높은 미래 등록자에게 우선순위를 부여할 뿐만 아니라 '유사한' 시장을 식별할 수 있었습니다. 유사 시장은 등록된 학생의 비율이 높은 경향이 있는 시장과 예측 특성을 공유하지만 일회성 과거 경험이나 덜 명백하게 적합하지 않기 때문에 다양한 이유로 대학 채용에 적극적으로 우선순위를 두지 않습니다. . 특정 카운티를 대상으로 하는 목록 구매를 통해 대학은 유사 시장에서의 영향력을 확대하고 지원자 풀을 전체적으로 15~20% 늘렸으며 전환 가능성이 낮은 시장에서는 지출의 우선순위를 낮췄습니다.
이 기관의 경우 고급 분석 모델링이 즉각적인 의미와 영향을 미쳤습니다. 이 계획은 또한 대학이 더 큰 마케팅 효율성을 통해 더 많은 신입생에게 서비스를 제공할 수 있는 향후 기회를 제시했습니다. 다음 가을(지원 마감일 이전)에 대한 리드에 대해 처음 테스트했을 때 모델은 지원서를 제출한 지원자의 85%를 정확하게 예측했으며, 해당 주기의 해당 시점에서 등록할 가능성이 가장 높은 지원자의 35%를 예측했습니다. , 입학 기준에 변화가 없다고 가정합니다(자료 3). 등록 관리 팀은 이제 잠재성이 높은 리드와 지원자에 대한 리소스와 시간의 우선순위를 더 잘 지정하여 상당한 규모의 수업을 생성할 수 있습니다. 이러한 새로운 기능은 기관에 전략적 선택을 할 수 있는 유연성을 제공합니다. 들어오는 학급의 규모에 주로 초점을 맞추기보다는 학급 혼합, 재정 지원 할당 또는 예산 절약과 같은 다른 목표의 우선 순위를 지정하면서 원하는 학급 규모를 보장할 수 있습니다.
팬데믹 기간 동안의 많은 고등 교육 기관과 유사하게,2한 온라인 대학은 학생 유지율이 크게 감소하는 추세에 직면해 있었습니다. 대학은 다양한 옵션을 모색하고 포커스 그룹과 넛지 캠페인을 포함하여 학술 및 행정 부서가 주도하는 이니셔티브를 배포했지만 결과는 기대에 미치지 못했습니다.
이 기관은 학생의 성공을 위한 높은 기준을 설정하고 유지율에 대한 뚜렷하고 지속 가능한 개선을 달성하기를 원했습니다. 대담한 목표를 추구하기 위해 고급 분석 접근 방식으로 전환했습니다.
대학에서는 조기에 탈락 위험이 있는 학생을 식별할 수 있는 기계 학습 모델을 구축하기 위해 먼저 10년간의 과거 데이터를 분석하여 계속해서 졸업할 가능성이 가장 높은 학생을 다른 학생과 비교하여 구별하는 주요 특성을 이해했습니다. 등록을 취소한 사람. 초기 모델이 기준보다 유지율을 예측하는 데 몇 배 더 효과적이라는 것을 검증한 후 교육 기관에서는 모델을 개선하여 현재 학생 모집단에 적용했습니다. 이 감소 모델은 5개의 위험에 처한 학생 원형을 산출했으며, 그 중 3개는 일반적인 위험에 처한 학생 프로필이 어떻게 생겼는지에 대한 기존 통념에 반직관적이었습니다(그림 4).
선형 분석 접근 방식을 사용하면 생략되었을 위험에 처한 학생의 이 세 가지 반직관적 원형은 등록을 중단할 가능성이 가장 높은 학생의 약 70%를 차지합니다. 위험에 처한 개인의 가장 큰 그룹(확인된 위험에 처한 학생의 약 40%를 차지함)은 전반적인 성적이 뛰어난 뛰어난 학업 성취도를 보였습니다. 이는 모델이 선형 규칙을 기반으로 한 모델보다 감소 위험이 있는 학생을 두 배 이상 식별했음을 의미합니다. 모델 결과를 통해 대학은 탈락 위험이 있는 학생들을 보다 효과적으로 식별하고 유지율 향상을 촉진할 가능성이 가장 높은 단기 및 중기 이니셔티브에 전략적으로 투자할 수 있었습니다.
위험에 처한 학생 프로필에 대한 모델과 데이터를 확보한 온라인 대학은 유지율을 높이기 위해 각 유형의 학생들에게 맞춤형 지원을 제공하는 데 초점을 맞춘 일련의 표적 개입을 시작했습니다. 조치에는 학업 및 진로 상담사와 더 많은 접점을 계획하고, 교수진 멘토링을 확대하고, 학생들이 지식 격차를 해소할 수 있는 대안 경로를 만드는 것이 포함되었습니다.
염두에 두어야 할 고급 분석 위험
고급 분석은 고등 교육 기관이 오늘날 직면한 과제를 극복하고 성장을 촉진하며 학생을 더 잘 지원하는 데 도움이 될 수 있는 강력한 도구입니다. 그러나 기계 학습은 복잡하며 상당한 관련 위험이 있습니다. 위험은 기관과 모델에 포함된 데이터에 따라 다르지만 고등 교육 기관에서는 이러한 도구를 사용할 때 다음 단계를 수행하는 것이 좋습니다.
인종, 연령, 성별에 따른 편견이 실수로 도입되지 않도록 모델을 구축하고 훈련하세요. 또한 새 모델이 현재 방법에 내재된 우발적 편향을 바탕으로 실수로 구축되지 않도록 해야 합니다.
특정 개입에서 학생을 제외하는 결정을 내리는 대신 학생을 지원하고 포함하는 사용 사례에 모델을 집중합니다. 모델은 또한 위의 요점과 관련된 의사 결정에서 무의식적인 편견을 제거하기 위해 요소를 명시적으로 테스트해야 합니다.
기존 학생 지원 프로세스와 함께 기계 학습 모델의 결과와 통찰력을 입력으로 사용합니다. 기계 학습 모델은 개입에 대한 정보를 제공하는 추가 통찰력을 제공합니다. 기존 구조와 방법을 대체하는 용도로 사용해서는 안 됩니다.
다양한 학생 세그먼트에 대한 모델 성능을 지속적으로 확인하여 모델이 모든 세그먼트에 대해 상대적으로 유사하게 수행되고 특정 그룹에 치우쳐 있지 않은지 확인합니다.
많은 고등 교육 기관이 데이터와 분석을 활용하는 길을 시작했지만 학생 경험 측면에서 이러한 기능의 잠재력을 최대한 실현하려면 아직 갈 길이 멀습니다. 지난 2년 동안 온라인 학습에 참여하고 기술 도구를 사용해 온 학생과 기관의 유입은 그 어느 때보다 작업할 데이터가 훨씬 더 많다는 것을 의미합니다. 고등 교육 기관에서는 앞으로 학생들에게 더 나은 서비스를 제공하기 위해 이를 사용하기를 원할 수 있습니다.
저자 소개
Claudio Brasca는 McKinsey 샌프란시스코 사무소의 파트너이며 Varun Marya는 수석 파트너입니다. Nikhil Kaithwal 은 런던 사무소의 어소시에이트 파트너이고, Charag Krishnan은 뉴저지-정상 사무소의 파트너이며, Monatrice Lam은 Bay Area-Silicon Valley 사무소의 컨설턴트이며, Jonathan Law 는 남부 캘리포니아 사무소의 수석 파트너입니다. .
저자는 이 기사에 기여한 Inès Garceau-Aranda, Emily Cohen, Katie Owen, Xiaowo Sun, Xuecong Sun 및 Shyla Ziade에게 감사의 말씀을 전하고 싶습니다.