대학 순위 평가 가이드
세계 주요 평가 기관에 대한 상세 분석
최종업데이트: 2023년 10월 24일
대학 순위 평가란?
대학 순위 평가는 다양하고 불완전하나, 동시에 영향력이 있습니다.
대학은 고유한 사명(mission)을 갖고 있고, 각자의 사명을 실현하기 위해 적합한 학생, 인재, 기부금 유치에 최선을 다합니다. 그리고 이러한 노력은 결과로 나타납니다. 그렇다면 이러한 사실을 여러분의 대학에 관심이 있는 예비 대학생, 잠재적 연구원이나 교원(일부 국가의 경우 정책담당자, 펀딩 기관)에게 어떻게 전달할 수 있을까요? 이들은 여러분이 어떤 성과를 내고 있는지뿐만 아니라 다른 대학과 어떻게 비교되는지도 알고 싶어합니다. 이는 대학 순위 평가가 존재하는 하나의 이유입니다.
목차:
완벽하진 않지만 유용한 순위 평가
대학 순위 평가와 순위표는 쉽게 이용할 수 있으며 고등교육기관을 비슷한 기준에 따라 간단히 비교할 수 있는 방법입니다. 그러나 개선의 여지도 있습니다. 특히 순위가 대학의 평판도와 결합될 때는 종종 비판 새 탭/창에서 열기의 대상이 되기도 합니다.
이러한 한계로 인해 순위 평가와 순위표를 유일한 평가잣대로 사용해서는 안 됩니다. 의사 결정 도구로 사용하려면 다른 지표나 데이터를 추가하는 게 좋습니다. 이에 대해서는 순위 평가에 결함은 없는가?에서 자세히 논의합니다.
종류는 다양, 모든 상황에 적용은 불가
세계 대학 순위를 집계하는 한 곳인 IREG Observatory 새 탭/창에서 열기가 자사의 웹사이트에서 하기와 같이 언급했습니다:
순위 평가 기관은 교육기관의 다양성을 인정하고 교육기관의 다양한 사명과 목표를 고려해야 합니다. 예를 들어, 연구 중심 교육기관에 대한 질적 평가는 소외된 지역사회를 위해 교육 서비스를 제공하는 교육기관과 비교해 상당히 다릅니다.
대학 평가에 있어 Scopus와 SciVal의 역할 이해하기
현재 세계의 대학을 대상으로 순위를 발표하거나 산정하는 기관은 20개가 넘습니다. 지역이나 학과에 집중하는 평가 기관까지 포함할 경우 그 규모는 훨씬 더 커집니다. 대학은 고유한 사명과 목적이 있으며 각각의 순위 평가에는 차별점, 방법론, 데이터 출처, 평가지표에서 차이를 보입니다. 자세한 내용은 “어떻게 평가하는가?”에서 확인하실 수 있습니다.
아래 차트는 시계열에 따른 국제 순위 평가 기관의 성장과 변화를 간략하게 나타낸 것입니다. 여기에는 다양한 유형의 대학과 사명을 고려하기 위해 도입된 리그 테이블이 포함돼 있습니다.
영향력이 있는 순위 평가
대학 순위 평가는 학생, 학부모, 연구원, 잠재적 교원, 기부자뿐만 아니라 대학의 성과와 역량을 객관적으로 파악하고자 하는 다른 다양한 기관들이 자주 찾는 자료입니다.
순위 평가가 중요한 이유는?
세계 대학 순위 평가는 지난 20여년 동안 양적·질적으로 성장해왔으며 아래의 상황에 영향을 줄 수 있습니다.
정부의 교육기관 연구 우수성 측정
학부생 또는 대학원생(및 학부모)의 대학 선택
기업의 파트너 대학 선정
펀딩 기관의 대학 연구 부문 투자
리서치 2030 팟캐스트 새 탭/창에서 열기의 에피소드인 “젊은 대학이 바라보는 순위 평가에 대한 관점” 새 탭/창에서 열기에서 카타르 대학 새 탭/창에서 열기의 국제 업무 책임자인 세자르 와젠(César Wazen)이 순위 평가가 중요한 이유를 설명합니다.
그의 의견을 직접 들어보세요. 새 탭/창에서 열기
순위는 교육기관의 평판도와 학문적 우수성을 나타내는 유일한 지표는 아니지만, 정량적이고 대중적인 방식으로 국가, 지역, 세계의 대학들을 벤치마킹하는데 활용할 수 있습니다.
대학의 가시성을 높여주는 순위 데이터
순위 데이터는 대학의 가시성과 프로파일을 높일 수 있기에 대학을 외부에 어필하는 도구가 됩니다. 이는 예비 학생, 잠재적 교원, 잠재적 파트너 등에게 정보로서의 도움이 됩니다. 대학이 순위에 들면 학생들이 선호하는 고등교육기관으로 선정될 가능성도 높일 수 있습니다. 이는 여러분이 대학에서 맡은 직책과 관계없이 진행됩니다.
대학 순위 평가가 유학생 유치에 중요한 역할을 하는 이유
최근까지만 해도 유학생은 많은 고등교육기관에서 중요한 재정 수입원이었습니다. 대학 순위 평가는 유학생들에게는 오랫동안 인기 있는 도구였습니다. 특히 많은 학생들이 입학 전에 해외 캠퍼스를 방문해 볼 시간이나 돈이 없기 때문에 그렇습니다. 중국은 수년 동안 유학생을 가장 많이 내보내는 나라 중 하나였습니다. 미국 내 외국인 학생 중 중국 학생은 여전히 가장 큰 비중(30%)을 차지하고 있습니다.
코로나19와 지정학적 긴장 고조로 인해 해외 유학을 떠나는 중국인 학생 수는 줄어들 수 있으나 중국의 유학생 시장 지배력은 지속될 것으로 보입니다. QS의 글 새 탭/창에서 열기에 따르면, 중국인 유학생의 절반 가까이(44%)는 순위가 높은 대학을 찾는 게 자신에게 중요하다고 인정했습니다. 이들이 대학을 선택할 때 고려하는 가장 중요한 요소는 수준 높은 교육(60%)이 1위이며, 선택한 학과에 대한 평판도가 좋은지 여부(54%)가 뒤따랐습니다. 이는 주요 대학 순위 평가에서 반영되는 두 가지 척도입니다.
오른쪽 상단 Universities UK 그래프에서 볼 수 있듯이 2018년까지 유학생들에게 가장 인기 있는 국가는 미국이었으며 영국은 2위를 차지했습니다. 호주는 코로나 이전에 빠르게 성장하면서 2위 자리를 넘노는 위치에까지 올라섰습니다.
그러나 조만간 이러한 상황에 변화가 예상됩니다. 2020년도 힘들었지만 2021년도 또한 녹록지 않다는 게 많은 사람들의 전망입니다. 코로나19 의 지속적 유행과 이에 따른 여행과 비자 제한이 유학생 수에 부정적인 영향을 줄 가능성이 있기 때문입니다.
이는 대학의 재정 수입에 타격을 줄 것입니다. 대학 평가 기관인 Multirank의 그래프를 보면 특히 호주와 영국이 다른 국가보다 더 큰 타격을 받을 것으로 예상됩니다.
유학생 수 감소는 국가나 지역의 재정에도 영향을 미칩니다. 예를 들어, 2019년 국제교육자협회(NAFSA 새 탭/창에서 열기)는 하기와 같이 보고했습니다:
...미국 대학에서 공부하는 유학생들의 2018-2019학년도 미국 경제 기여도는 410억 달러에 달하며 458,290개의 일자리 창출에 일조했다.
2020년 NAFSA의 보고서 새 탭/창에서 열기에 따르면 410억 달러에 달했던 재정적 기여도는 2019-2020학년도에 4.4% 감소해 -18억 달러가 됐다고 밝혔습니다. 일자리 창출 기여도는 9.2% 줄었습니다.
국내 학생과 유학생은 모두 더욱 치열해지는 경쟁 환경에 처해있습니다. 이런 상황에서 대학 순위 평가와 순위에 노출된 대학의 위치는 점차 중요한 역할을 할 것으로 보입니다.
순위는 누가 발표하는가?
대학 평가 순위는 잡지사, 신문사, 웹사이트, 학계, 정부 등 다양한 기관에서 개발하고 발표합니다. 발표 주체 중에는 글로벌 순위 평가만을 다루는 곳도 있고 국가나 지역 순위에 초점을 두는 곳도 있습니다. 일부는 두 가지 모두를 다룹니다. 본 자료에서는 세계 대학을 대상으로 연구 성과에 중점을 두는 순위 발표 기관을 소개합니다.
글로벌 순위 평가의 역사
순위 평가 연구자인 엘렌 하젤콘(Ellen Hazelkorn)이 쓴 글 “글로벌 과학, 국가 연구, 대학 순위 평가의 문제 새 탭/창에서 열기”에 따르면, 2003년 상하이교통대는 상하이 랭킹으로 알려진 세계 대학 학술 순위 평가(ARWU 새 탭/창에서 열기)를 발표했습니다. 경제의 글로벌화가 빨라지고 고등교육이 국제적으로 확대됨에 따라 대학의 성과를 시각화하면서 상호 비교하며 이해할 수 있는 프레임워크의 필요성도 덩달아 커졌습니다.
2003년부터 다수의 순위 평가 기관과 보고서가 이러한 분야에서 생겨나기 시작했습니다. 고등교육기관을 비교할 수 있는 옵션이 확대되었고, 차별성을 보이는 틈새 분야의 보고서도 다양해졌습니다.
두 가지 사례
2011년 런칭된 QS 세계 대학 순위의 전공별 대학 순위 새 탭/창에서 열기: 전공 분야별로 다양한 연구 문화와 논문 발표율 고려
2019년 런칭된 타임스고등교육(Times Higher Education, THE)의 THE 영향력 순위 새 탭/창에서 열기: "유엔의 지속가능개발목표(SDG)를 달성하는 데 있어 교육 기관의 성공을 측정하기 위한 새로운 글로벌 대학 순위"
이코노미스트 발췌:
따라서 순위 경쟁은 행복한 아이러니가 특징이다. 일부 국가주의적 충동에서 시작된 이러한 경쟁은 국경없는 커뮤니티의 성장을 촉진시켰다. 정부와 대학이 순위에 지나치게 집착한다는 비평가들의 지적은 옳다. 그러나 세계는 이러한 생산적이고 국제적인 학자 집단의 성장에서 도움을 얻고 있다.
출처: https://www.economist.com 새 탭/창에서 열기, 2020년 7월 28일자
세계 주요 순위 평가 기관과 각 기관의 특징
쿼콰렐리 시몬즈(QS), 타임스고등교육(THE), 상하이 랭킹(세계 대학 학술 순위 평가, ARWU)은 세계적인 글로벌 순위 평가 기관으로서 가장 확고한 위치를 차지하고 있습니다.
대학 순위 평가 관련 세계 7대 보고서 (알파벳순):
아래 가이드를 통해 주요 순위 보고서 7개를 한눈에 확인할 수 있습니다.
보고서별 특징
대상: 연구 중심 대학
규모: 1,411개 기관 (2023년)
발표 시기: 매년 (6월)
명시된 목표: 라이덴 순위 평가는 대학 성과를 다차원적 관점에서 평가하며 과학적 영향력, 협업, 오픈 액세스 출판, 성별 다양성 지표를 제공
데이터 출처:
과학 인용색인 확장판, 사회과학 인용색인, 예술 및 인문학 인용색인의 웹 오브 사이언스 데이터를 CWTS 자체 데이터로 보강해 사용
오픈 액세스 지표를 위한 OpenAlex
평가 방법: 핵심 출판물(인용 분석에 적합하고 특정 기준을 충족하는 분야의 국제 과학 저널에 게재된 출판물)로 분류된 것 중 최근 3년 동안의 출판물. 링크 참조: www.leidenranking.com/information/indicators 새 탭/창에서 열기
일반적으로 대학은 교육과 연구를 수행하는 기관으로 학위 수여 권한을 갖는 특징이 있습니다. 그렇다고 대학들이 모든 면에서 국제적 비교가 가능한 동질적인 기관이라고는 할 수 없습니다. 라이덴 순위 평가는 과학 연구에 중점을 두면서 연구 집약도가 공통적으로 높은 대학을 평가 대상으로 합니다.
주요 지표:
출판물, 오픈 액세스 지표, 규모 의존적 vs 규모 독립적 지표, 성별 지표, 과학적 영향력 지표, 집계 방법, 협업 지표, 추세 분석, 안정성 간격
출처: www.leidenranking.com 새 탭/창에서 열기, 2023년 8월 21일 기준
WUR 2024를 위해 발표된 새로운 평가 방법에 사용되는 3가지 새로운 측정 지표
대상: 글로벌
규모: 1,500여 기관 (2023년)
발표 시기: 매년 (봄)
명시된 목표: 자신의 대학이 전세계 학계와 미래 고용주에게 어떤 평가를 받고 있는지를 알고자 하는 학생을 대상. 동기부여가 강한 사람들이 세계 어디에서나 교육적 성취, 국제적 이동성, 경력 개발을 통해 자신의 잠재력을 실현할 수 있도록 지원. 신평가 방법에서는 고용가능성과 지속가능성 강조
데이터 출처: 엘스비어 서지 데이터세트 및 데이터베이스 (Scopus와 SciVal)
평가 방법: (20th edition부터) QS는 평가 방법 프레임워크를 발전시켜 기존 6개 지표에 지속가능성, 고용가능성, 연구 협력을 추가
QS 세계 대학 순위는 대학을 9개 지표에 따라 평가
학문적 평판도 30%
교수당 피인용 횟수 20%
고용주 평판도 10%
학부생 수 10%
유학생 수 5%
외국인 교원 5%
국제 연구 네트워크 5% (2023년 추가)
고용 성과 5% (2023년 추가)
지속가능성 5% (2023년 추가)
출처: QS 세계 대학 순위 지원 새 탭/창에서 열기, 2023년 8월 22일 기준
대상: 54개 세부 전공을 5개 학부로 분류
규모: 1,500여 기관 (2023년)
발표 시기: 매년 (봄)
명시된 목표: 전공 분야별 대하간 비교를 원하는 예비 대학생들이 자신이 선택한 분야에서 세계 최고의 학교를 파악할 수 있도록 지원
데이터 출처:
국제 평판도
QS 글로벌 학계 설문조사
QS 글로벌 고용주 설문조사
평가 방법: 아래 다섯 가지 지표를 종합해 각 전공별 순위에 대한 결과를 산출하고 분야별 가중치를 적용
학문 분야별로 연구 문화와 논문 출판율이 크게 다르기 때문에 전공별 QS WUR은 전공별로 5가지 지표의 가중치를 다르게 적용합니다.
예를 들어, 논문 출판율이 매우 높은 의학의 경우, 연구 피인용 횟수와 h-인덱스는 각 대학 총점의 20%를 차지합니다. 역사학과 같이 논문 출판율이 낮은 분야에서는 이러한 연구 관련 지표는 전체 순위 점수의 7.5%에 불과합니다. 예술이나 디자인처럼 출판 논문 수가 너무 적어 통계적 유의성이 없는 분야에서는 고용주와 학계 설문조사만을 기반으로 순위를 산출합니다.
출처: , 2023년 8월 22일 기준
대상: 글로벌
규모: 매년 2.500여 대학 순위를 분석해 상위 1,000곳 발표
발표 시기: 매년 (8월)
명시된 목표: 국가적 차원의 강점과 약점을 파악해 개선점 도출과 새로운 목표 설정을 위한 기반 제공
데이터 출처:
노벨상
필즈 메달 (www.mathunion.org)
HiCi: 클래리베이트
N&S: 웹 오브 사이언스
서지 정보: 웹 오브 사이언스
전국 교원 수: 교육부 및 통계청과 같은 국가 기관, 전국 대학 협의회, 전국 총장 협의회
평가 방법: 최고 점수를 받은 대학에 100점을 부여하고 다른 대학은 최고 점수 대비 백분율로 계산. 한 대학의 순위는 그 위 순위에 있는 대학의 수를 의미. 순위 평가 기준은 다음과 같은 학문적 또는 연구 성과 지표를 사용
노벨상 및 필즈 메달 수상 동문 및 교원 수
많이 인용된 연구자 수
Nature와 Science에 발표된 논문 수
주요 인용색인에 색인된 논문 수
대학의 1인당 학업 성과
출처: www.shanghairanking.com 새 탭/창에서 열기, 2023년 8월 21일 기준
대상: 글로벌
규모: 1,799개 대학 (2023년)
발표 시기: 매년 (9,10월)
명시된 목표:
연구 중심 대학을 대상으로 교육, 연구, 지식 이전, 국제적 관점 등 대학의 핵심 사명에 걸쳐 평가
학생과 학부모, 학계, 대학 운영진, 정부, 업계에 신뢰할 수 있는 대학의 성과 데이터 제공
데이터 출처:
학술 평판도 설문조사(엘스비어의 대학 데이터를 THE 데이터와 매핑)
대학 자체 제출 데이터
평가 방법: THE는 13개 성과 지표를 사용해 전세계 1,400여곳의 대학 순위를 평가. 성과 지표는 다섯 가지 영역으로 분류됨
30% 교육 (학습 환경):
15.0% 평판도 조사
4.50% 교원 및 학생 비율
2.25% 박사 및 학사 비율
6.00% 박사 학위 취득자 및 교원 비율
2.25% 대학 수입
30% 연구 (연구량, 수입, 평판도):
18% 평판도 조사
6.0% 연구 수입
6.0% 연구 생산성
30% 피인용 (연구 영향력)
7.5% 국제적 관점 (교원, 학생, 연구):
2.5% 유학생 비율
2.5% 외국인 교원 비율
2.5% 국제 협력
2.5% 산업체 관련 수입 (지식 이전)
출처: www.timeshighereducation.com 새 탭/창에서 열기, 2023년 8월 22일 기준
대상: 유엔의 지속가능개발목표(SDG)
규모: 112개의 국가 및 지역의 1,591개 대학 (2023년, 매년 변경)
발표 시기: 매년 (4월)
명시된 목표: 지역사회를 위해 노력하는 대학의 사례를 통해 다른 순위 평가에서 다뤄지지 않은 대학의 활동과 노력을 조명함. 대학이 세상에 어떠한 기여를 할 수 있는가를 제시
데이터 출처:
대학이 17개 SDG 가운데 최대한 해당되는 분야의 데이터를 제출
평가 방법:
THE는 SDG 각 영역을 놓고 네 가지 광범위한 영역(연구, 지원, 교육, 관리)에서 대학간 비교 지표를 사용. 전체 순위에 들어가는 대학은 SDG 17번과 기타 3개 이상의 SDG에 대한 데이터를 제공.
평가 방법은 THE의 파트너 기관인 버티고 벤처스(Vertigo Ventures) 및 엘스비어와 협력하고 개별 대학, 학계, 각 부문 그룹의 자문과 의견을 수렴해 개발
각 SDG에는 해당 SDG에서 대학의 성과를 평가하는 데 사용되는 일련의 지표가 존재. THE는 전체 순위뿐만 아니라 각각의 SDG 평가 결과도 공개. 이를 통해 전체 순위에 포함될 자격이 없 더라도 참여한 모든 대학에 순위를 부여
출처: www.timeshighereducation.com 새 탭/창에서 열기, 2023년 8월 22일 기준
대상: 글로벌
규모: 95개국 이상의 2,000개 대학
발표 시기: 매년 (10월)
명시된 목표:
예비 학생들에게 다른 나라의 고등교육 옵션을 제시하고 연구 활동 측면에서 목표 학교들을 서로 비교 가능하게 함
대학을 위해 타대학과 비교를 통한 벤치마킹, 글로벌 인지도 제고, 다른 나라의 우수 대학과 협력할 수 있는 기회를 제공
데이터 출처:
서지 데이터 및 지표: 클래리베이트
평판도 지표: 클래리베이트 애널리틱스의 학술 평판도 설문조사
평가 방법:
개별 학부 또는 대학원 프로그램이 아닌 대학의 학술 연구 및 평판도 전반에 초점. 순위 산정은 13개 지표 각각에 대한 가중치와 z점수를 조합해 전체 글로벌 점수를 계산
글로벌 연구 평판도 12.5%
지역 연구 평판도 12.5%
출판물 10%
도서 2.5%
학회 2.5%
정규화된 인용 영향력 10%
총 피인용 횟수 7.5%
가장 많이 인용된 상위 10%에 속하는 논문 수 12.5%
전체 출판물 중 가장 많이 인용된 상위 10%에 속하는 논문 수의 비율 10%
국제 협력 - 국가별 비율 5%
국제 협력 5%
각 분야에서 가장 많이 인용된 상위 1%에 속하는 논문 중 피인용 횟수가 높은 논문 수 5%
전체 출판물 중 가장 많이 인용된 상위 1%에 속하는 논문의 비율 5%
출처: www.usnews.com 새 탭/창에서 열기, 2023년 5월 22일 기준
어떻게 평가하는가?
순위 평가 기관이 순위를 산정하는 방법을 자세히 알아보기 전에 상기할 점은 순위 산정 방법은 다양하게 존재하며 해마다 발전하고 있다는 점입니다. 이러한 순위 산정에는 한계가 있으므로 순위만을 가지고 한 대학의 평판도나 우수성을 평가해서는 안 됩니다.
매사추세츠공대의 대학 연구 책임자인 리디아 스노버(Lydia Snover)는 타임스고등교육(THE) 블로그 새 탭/창에서 열기에서 다음과 같이 언급했습니다.
분명히 말씀드리자면 완벽한 대학 순위 평가란 존재하지 않습니다. 고등교육에서 우수성을 비교 가늠하는 단일한 모델은 없으며, 모든 순위는 이용 가능하고 비교 가능한 데이터에 기반합니다. (지표와 가중치에 대해) 데이터 분석자의 주관적 판단이 작용하기에 ‘올바른’ 결과는 존재하지 않습니다.
평가 방법을 이해하는 게 중요한 이유
대학 순위와 관련해 생성되는 순위표와 보고서는 전 세계적으로 점차 늘고있지만, 순위 산정의 집중 영역, 알고리즘, 평가 방법은 다양하게 존재합니다. 평가 방식의 원리를 파악하면 대학 자체의 관행과 데이터가 순위 결과에 어떤 영향을 미칠 수 있는지도 이해할 수 있습니다. 이에 대한 자세한 내용은 대학 순위에 영향을 줄 수 있는가?에서 논의합니다.
순위 평가 기관의 데이터와 정보 출처
모든 순위 산정 방법은 다양한 외부 리소스의 데이터 입력에 의존합니다. 여기에는 아래 나열된 세 가지 예가 포함되는 경우가 많습니다. 그러나 특정 리그 테이블의 틈새 영역과 초점에 따라 많은 부분이 달라집니다. 마찬가지로 각 요소에 대해 선택한 가중치와 계산 방법은 보고서의 특정 방향에 따라 달라집니다.
인사, 교무, 재정 등 대학 부서에서 얻은 데이터
교원, 학생, 졸업생, 고용주를 대상으로 실시한 평판도 설문조사
대학 랭킹에서 Scopus와 SciVal의 역할 이해하기
대부분의 순위 평가 기관은 웹사이트를 통해 평가 방법에 대한 세부 정보를 제공하기에 평가 기관의 중점 사항과 더불어 결과를 알리는 데 사용된 데이터와 정보를 이해하는 데 도움을 줍니다.
평가 시 필요한 계산 및 가중치에 대한 정보는 아래의 링크를 참조하시기 바랍니다.
위 목록에서 확인 또는 가이드를 다운로드 새 탭/창에서 열기 받으실 수 있습니다.
순위 평가에 결함은 없는가?
일각에서는 대학 순위 평가에 결함이 있다면서 아래와 같은 문제점을 주장합니다.
결함이 있는 데이터 가정을 기반으로 한다
학생의 학교 선택에 부정적인 영향을 미친다
학생들에게 중요한 데이터가 배제된다
대학의 사명을 고려하지 않는다
개성과 창의성을 억압한다
대학 순위 산정에 문제가 있는 이유는 무엇인가?
하젤콘은 대학 순위 평가의 오류와 ‘과실’이란 글 새 탭/창에서 열기에서 대학 순위 평가는 단순하기 때문에 인기가 있지만 “...이 점이 비판의 주요 원인이기도 하다”라고 말했습니다. 대학의 순위만으로는 해당 대학의 깊이와 폭을 모두 담아낼 수 없기 때문입니다.
하젤콘이 지적한 문제점:
객관성 부족: 가장 중요한 지표와 가중치를 순위 평가 기관이 결정
평가 기관의 우선 순위: 대부분의 순위는 (국제적으로) 비교 가능한 데이터를 사용할 수 있는 속성(일반적으로 연구 및 평판도)을 고려하며 학생과 사회 참여 또는 교육이나 학습과 같은 다른 중요한 영역에는 거의 또는 전혀 초점을 두지 않음
많은 사람들은 순위가 ‘프록시’에 지나치게 의존한다고 생각합니다. 예를 들어 일부 평가 기관은 교육의 질을 결정할 때 노벨상 수상 동문 수나 기부금 액수와 같은 요소를 사용합니다. 또 일부는 영어로 논문을 출판하는 대학 등 일부 대학이 항상 상위권에 들어가는 알고리즘상의 편향이 존재한다고 주장합니다. 또 다른 사람들은 대학의 순위가 평가 기관에 따라 크게 달라질 수 있다는 사실을 지적합니다.
다음은 아스펜 인스티튜트의 대학 엑설런스 프로그램 개발자 겸 대표인 조쉬 와이너 새 탭/창에서 열기가 학생 성과에 초점을 맞춘 대학 평가 순위에 대해 설명하는 내용입니다.
평가 기관은 일반적으로 대학에 형평성, 즉 문을 최대한 열어 두는 것에 대한 보상을 제공하지 않습니다. 또한 학생들이 재학 중에 얼마나 성장하는지도 고려하지 않습니다. 학생들이 대학에 입학했을 때 얼마나 잘 준비되었는지, 얼마나 부유했는지를 고려하여 그들이 어디에 입학하는지, 그러한 결과를 달성할 가능성이 얼마나 되는지를 살펴보지 않으면 전체적인 그림이 왜곡될 수 있습니다.
대학 순위: 사명 달성에 노력하는 대학에는 어떤 의미가 있는가?
사명과 가치를 추구하는 대학에 대해 순위 평가는 대학을 판단하는 데 사용되는 원칙이 다양한 계산에 포함되지 않기 때문에 특히 문제가 될 수 있습니다. 여기에는 개방적 과학, 평등, 다양성, 기타 사회적으로 중요한 의제가 포함됩니다. 말콤 글래드웰 새 탭/창에서 열기은 팟캐스트 수정주의 역사(Revisionist History)의 에피소드 “프로젝트 딜라드(Project Dillard) 새 탭/창에서 열기”에서 미국의 역사적 흑인 대학인 딜라드대학교 새 탭/창에서 열기의 총장 월터 킴브로(Walter M. Kimbrough) 새 탭/창에서 열기와 대담을 가졌습니다. 킴브로 총장은 자신의 대학을 가능한 한 많은 사람을 교육하고자 하는 대학으로 소개합니다. 그러나 경제적으로 취약한 계층을 교육하는 것을 사명으로 삼고 있다는 사실 때문에 이 대학의 순위는 낮습니다.
많은 순위 평가 기관은 대학 및 제3자 기관과 적극 협력해 자신의 평가 모델을 학습하고 발전시키며 조정합니다. 기술, 투명성, 이해도의 향상에 따라 대학 순위 평가도 향상됩니다.
대학 순위 평가의 미래는?
대부분의 사람들은 현재의 대학 순위 평가가 계속해서 존재할 것이라는 데 동의합니다. 그러나 순위 평가에 결함은 없는가?에서 제기됐던 몇 가지 우려가 해소되면서 발전해 나갈지는 지켜볼 일입니다. 앞으로 기대되는 변화는 다음과 같습니다.
코로나19 영향을 반영한 평가 방법의 변화
좀 더 집중적인 평가 방법의 증가
기존의 평가 틀을 넘어서는 움직임
제3자 데이터와 AI 기술 사용 증가
팬데믹과 글로벌 순위 – 코로나19로 달라지는 것은?
잠재적으로 많은 변화가 있을 수 있습니다. 순위 평가 기관들은 여전히 팬데믹에 대한 대응을 고려하고 있습니다. 일부에서는 교육과 학습, 협업, 유학생에 코로나19가 미치는 영향을 인식하기 위해 새로운 방법론을 검토할 계획입니다. 일부 사람들은 코로나19 관련 연구와 연결된 일부 대학의 출판물이 급격히 증가한 것을 어떻게 설명할 수 있을지 궁금해합니다.
INORMS의 엘리자베스 개드(Elizabeth Gadd)가 2021년 3월 쓴 글 “중요한 것을 측정하라: 팬 데믹 시대 대학 순위 평가 새 탭/창에서 열기”에서 말했듯이, 모든 유형의 연구 평가 문제에서 우리가 알게 된 것은 팬데믹이 향후 12개월 내에는 영향을 미치지 않고 향후 10년에 걸쳐 영향을 미칠 것이라는 점입니다.
일부에서는 잠재적인 여행 제한과 빠듯해진 예산에 직면한 예비 유학생들이 국내 대학으로 눈을 돌리면서 글로벌 순위 평가의 인기가 하락할 수 있다고 예상합니다.
대학 순위 평가가 이렇게 많이 필요한가?
세상은 변화하고 있으며 대학도 변화하고 있습니다. 기존의 대학 순위 평가 기관들은 대학을 전공 분야, 지리적 위치, 사회적 기여도 또는 학위 유형별로 순위를 매기는 등 세상의 변화에 대해 새로운 방식으로 대응하고 있습니다.
또한 새로운 조직이 순위 평가 시장에 진입하고 있습니다. 3개 대학 사명 모스크바 국제 대학 순위 새 탭/창에서 열기는 교육, 연구, 사회와의 상호작용을 평가하는 최초의 기관이라고 주장합니다.
그러나 순위 평가 전문가인 리차드 홈즈(Richard Holmes) 새 탭/창에서 열기는 “아프리카 같은 곳의 대학은 데이터를 보고하는데 자원을 할당하지 않을 것”이라는 글에서 “더 많은 지표와 순위는 대학에 대한 더 많은 데이터 수집과 동일한 것이며, 자원이 적은 국가는 이런 점에서 어려움을 겪을 것”이라고 말합니다.
이 문제를 해결하기 위해 QS 새 탭/창에서 열기는 순위 평가 기관들이 타사의 데이터 사용을 늘릴 수 있을 것이라고 생각합니다. 심지어 “분석을 위한 객관적이고 정확한 데이터를 생성하기 위해” 외부 조직에 의존할 수도 있습니다. 이러한 종류의 데이터를 사용하면 현재 투명성이 부족하다는 지적을 받고 있는 방법론의 문제를 해소하는 데 도움이 될 수 있습니다. 또한 자연어처리(NLP)와 같은 인공지능 기술을 도입하면 데이터 수집 부담을 줄일 수 있습니다.
순위 평가지표를 더 늘려야 할 때인가?
앞 절의 순위 평가에 결함은 없는가?에서 순위 평가 기관은 평판도나 전통적인 연구 지표에만 집중할 게 아니라 다른 종류의 지표도 반영해야 한다는 의견이 많다는 점을 분명히 했습니다. 예를 들어 다음과 같은 지표를 고려할 수 있습니다.
논문의 이용
미디어 및 SNS에서의 언급
정책이나 임상 문서에서의 인용
또한 사회적 기여도에 대한 평가도 더욱 강화될 것으로 예상됩니다. 현재 타임스고등교육(THE) 세계 대학 영향력 순위는 유엔의 지속가능개발목표(SDG)에 따라 대학을 평가하고 있습니다.
아마도 핵심은 “순위”라는 개념에서 완전히 벗어나는 데 있을 것입니다. Research 2030 팟캐스트에 소개된 에피소드 “사회적 영향력, SDG 연구 & 대학: 상파울루대의 알루이시오 세구라도 교수와의 대화 새 탭/창에서 열기”에서는 상파울루대 연구 책임자인 세구라도 교수가 순위 평가를 위해 더욱 다차원적인 접근 방식을 제안합니다. 그는 이러한 접근 방식이 비교 분석을 가능하게 할 뿐만 아니라 대학이 자신의 협력자를 식별하는 데도 도움이 될 것으로 믿고 있습니다.
그의 의견을 직접 들어보세요. 새 탭/창에서 열기
대학 순위에 영향을 줄 수 있는가?
올바른 초점, 노력, 도구를 통해 순위가 자신의 대학을 정확하게 반영하도록 할 수 있습니다. 카타르대학의 세자르 와젠은 이렇게 말합니다:
... 우리는 순위에 선정되는 노력을 전략적 이니셔티브, 목표, KPI의 일부에 포함시켰습니다. 우리는 대학 차원에서 순위 평가 위원회를 구성하고 프레젠테이션을 진행했습니다. 위원회에는 통계 등 분야별 전문가와 대학의 연구 전문가들이 참여했습니다. 따라서 위원회는 기본적으로 다양한 관점에서 순위 평가에 접근하고 연구와 교육 분야에서 대학이 참여하고 수행하는 노력과 우수성을 순위 지표와 일치시키려고 노력하고 있습니다. 이런 노력은 모든 수준에서 우리에게 좋은 영향을 미치기 시작했다고 생각합니다.
순위를 직접 바꿀 수는 없지만, 대학이 순위에 반영되도록 하기 위해 취할 수 있는 몇 가지 조치는 있습니다.
자신의 대학에 가장 적합한 순위를 결정
평가 방법에 대한 최신 정보 파악
전략적 이니셔티브에 대한 대학의 진행 상황을 모니터링
타대학의 추가 등 순위에 영향을 미치는 요인이 많으므로 이러한 변수로 인해 자기 대학의 순위는 변동될 수 있습니다.
자신의 대학을 보여주는 순위 결정하기
전세계에는 수많은 대학 순위 평가가 있습니다. 앞 절의 "순위는 누가 발표하는가"에서 언급했듯이 랭킹마다 집중하는 영역과 대학의 사명이 있습니다. 몇 가지 예를 들면 다음과 같습니다:
THE 젋은 대학 순위 새 탭/창에서 열기 설립 50년 미만 대학 대상
THE 세계 대학 영향력 순위 새 탭/창에서 열기 UN SDG를 기준으로 대학 평가
QS 글로벌 MBA 랭킹 MBA 새 탭/창에서 열기 공부에 가장 좋은 대학 목록
전공별 QS 세계 대학 순위 새 탭/창에서 열기 51개 전공 대상
가장 인기 있는 3대 글로벌 랭킹:
ARWU 새 탭/창에서 열기 (상하이 랭킹)
평가 기관의 사명은 유사해도 평가 방법에는 차이가 있습니다. 예를 들어, 2023년 THE는 옥스퍼드대학교를 1위로 선정한 반면, QS는 매사추세츠공대(MIT)을, ARWU는 하버드대학교를 1위로 선정했습니다.
평가 방법에 대한 최신 정보 얻기
어떤 순위에 집중할지를 결정한 후에는 해당 평가 기관의 평가 방법과 해마다 변경되는 사 항을 수시로 파악해야 합니다. 일부 데이터는 대학 자체에서 제공되기에 제출 마감일에 앞서 미리 준비하는 게 좋습니다.
평가 방법에 대한 최신 정보를 얻으려면 평가자들이 의존하는 기본 데이터를 이해해야 합니다. 예를 들어, THE의 평가 방법에는 아래 내용이 포합된다:
대학이 제공하는 데이터
평판도 조사 데이터
자신이 이용 가능한 모든 데이터 소스의 정확성을 평가하면 정확한 순위를 확보하는 데 도움이 됩니다.
또한 SciVal과 같은 툴을 사용해 자신의 연구 성과를 동료와 비교해 벤치마킹을 할 수도 있습니다.
Scopus가 대학 순위에 기여하는 방법과 SciVal이 이러한 순위를 모니터링하고 평가하는 데 어떤 도움을 주는지 자세히 알아보세요.
대학의 전략적 이니셔티브 진행 상황 모니터링
카타르대학의 세자르 와젠은 Research 2030 팟캐스트에서 랭킹과 전략을 논하면서 랭킹의 메커니즘을 잘 요약해 놓았습니다. 팟캐스트에서 그는 “우리의 사명은 카타르 국민을 교육하고 훈련시키는 것”이라 생각했기에 처음에는 순위를 크게 신경 쓰지 않았다고 합니다. 그러다 결국 그는 마음을 바꿨습니다.
우리는 (순위 평가를 위한) 추적이 단순한 게임이 아니라는 것을 깨달았습니다. 또한 대학이 어떤 강점과 어떤 약점이 있고 순위표에 있는 지역과 세계의 경쟁 대학을 벤치마킹을 할 수 있는 매우 흥미로운 지표도 포함하고 있다는 것을 알게 됐습니다.
생각해 보면 중요한 질문은 “내가 순위에 영향을 미칠 수 있는가?”가 아니라 “순위 뒤에 숨어 있는 정보에서 소중한 인사이트를 얻고 우리 대학을 전반적으로 강화할 수 있는가?”인 것 같습 니다.
결론: 우리 대학의 순위는 올라갈 것인가?
요약하면, 여러 가지 요인이 대학의 순위에 영향을 미칩니다. 동시에 대학이 최종적으로 어느 순위에 위치할지 영향을 주는 다양한 수단이 있습니다. 데이터의 정확성을 확인하거나 전략을 재평가하거나 지역이나 세계의 경쟁 대학을 벤치마킹하는 데 시간을 투자한다 해도 실질적인 성장을 이루지 못할 수도 있습니다. 순위 상승을 달성하는 것은 쉬운 일이 아니며 장담할 수도 없습니다. 그러나 대학 순위를 이해하고 참여하는 데 시간을 투자한다면 자기 대학의 전반적 상황을 더 정확하게 들여다보고 더 깊이 이해할 수 있습니다. 이를 위한 두 가지 접근 방식을 권장합니다.