콜로서스 (슈퍼컴퓨터)

콜로서스는 xAI의 인공지능 슈퍼컴퓨터이다.

역사

콜로서스는 세계에서 가장 큰 AI 슈퍼컴퓨터로, xAI의 그록(Grok) 거대 언어 모델(Large Language Model, LLM) 제품군을 훈련하는 데 사용된다.

엑스AI는 그록 3 훈련을 위해 멤피스 데이터센터에서 약 20만 개의 엔비디아 H100 GPU를 사용했으며, 이는 GPT-4 개발에 사용된 1만 5000개 GPU를 훨씬 뛰어넘는 규모이다.

2025년 2월 17일(현지시간), 머스크는 xAI의 공식 X(옛 트위터)를 통해 그록3 공개 행사를 생중계했다. 이 행사에서 머스크는 “엔비디아의 최신 반도체칩 20만 개를 활용해 그록3를 훈련했고, 그록3는 xAI의 슈퍼컴퓨터 ‘콜로서스’에서 2억 시간 동안 학습했다”고 말했다. 또한 “법원 판례 등 광범위한 문서를 포함한 데이터로 훈련했기 때문에 뛰어난 논리적 사고와 응답 능력을 가졌다”고 설명했다.

그록3은 엔비디아 그래픽처리장치(GPU) H100 10만 개를 탑재한 슈퍼컴퓨터에서 2억 시간 훈련됐다. 최근엔 20만 개까지 GPU 규모를 높였으며, 향후 100만 개까지 확대할 계획이다.