상위 질문
타임라인
채팅
관점
DBRX
위키백과, 무료 백과사전
Remove ads
DBRX는 데이터브릭스의 자회사인 모자이크가 개발하여 2024년 3월 27일에 공개한 오픈 소스 대형 언어 모델 (LLM)이다.[1][2][3] 총 1320억 개의 매개변수를 가진 전문가 혼합 트랜스포머 모델이다. 각 토큰에 대해 360억 개의 매개변수 (16개 전문가 중 4개)가 활성화된다.[4] 공개된 모델은 기본 파운데이션 모델 버전 또는 명령어 튜닝된 변형으로 제공된다.[5]
DBRX는 출시 당시 언어 이해, 프로그래밍 능력, 수학 등 여러 벤치마크에서 메타의 LLaMA, 미스트랄 AI의 Mixtral, xAI의 Grok과 같은 다른 주요 오픈 소스 모델들을 능가했다.[4][6][7]
이 모델은 3.2테라바이트/초 대역폭(인피니밴드)으로 연결된 3,072대의 엔비디아 H100에서 2.5개월[7] 동안 1천만 달러의 훈련 비용으로 훈련되었다.[1]
Remove ads
각주
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads