국내 연구진이 데이터센터 내 서버들의 남는 메모리를 공유해 대규모 연산에 활용하는 기술을 개발했다.
한국전자통신연구원(ETRI)은 자체 개발한 메모리관리 소프트웨어 ‘EMP(Elastic Memory Platform)’를 미국 서던 캘리포니아대학교(USC)의 고성능 컴퓨팅(HPC) 클러스터에 적용해 지난 9월부터 시범 운영하고 있다고 19일 밝혔다.
EMP는 여러 서버에 분산된 유휴 메모리를 초고속 네트워크로 연결해 메모리가 부족한 서버에 추가 자원으로 제공하는 기술이다.
인공지능(AI) 확산으로 서버 메모리 수요와 가격이 상승하는 상황에서 별도 장비 증설 없이 기존 자원을 효율적으로 활용할 수 있다는 점이 특징이다.
실제 성능검증에서는 약 1.8TB의 메모리가 필요한 유전체 분석 작업을 메모리 용량이 448GB에 불과한 서버에서 실행하는 데 성공했다.
서버 자체 메모리가 필요 용량의 25% 수준이었지만 초고속 네트워크로 연결된 다른 서버의 메모리를 활용해 부족한 용량을 확보했다.
특히 USC 첨단연구컴퓨팅센터(CARC)의 바이오 응용프로그램 시험에서 기존 시스템보다 메모리 단위당 최대 2.3배 높은 성능을 기록했다.
현재 EMP가 적용된 USC의 고성능 컴퓨팅 클러스터는 500개 노드 규모로, 공유 가능한 메모리는 최대 384TB에 달한다.
기존 프로그램을 수정하지 않고도 사용할 수 있도록 표준 작업관리시스템인 슬럼(SLURM)과 연동한 것도 장점이다.
ETRI는 앞으로 USC 연구진과 함께 유전체·단백질 분석, 기상예측 등 다양한 분야에서 성능을 추가 검증할 계획이다.
또 미국 실증 경험을 바탕으로 국내 대학과 연구기관, AI데이터센터로 기술 적용을 확대하고 사업화도 추진한다.
고광원 ETRI AIDC 연구본부장은 “EMP는 기존 서버의 유휴 메모리를 공유해 개별 서버의 용량 한계를 극복하는 기술”이라며 “국내 AI데이터센터의 자원 활용 효율을 높이는 핵심 소프트웨어로 발전시키겠다”고 말했다.
이번 연구는 과학기술정보통신부와 정보통신기획평가원의 SW컴퓨팅산업원천기술개발사업 지원으로 수행됐다.
구글에서 프레시안을 더 자주 만나기




전체댓글 0