태그별 기사: rugpt3xl

8k 컨텍스트의 ruGPT3XL: 희소 어텐션

희소 어텐션과 파인튜닝을 통한 ruGPT3XL의 8k 토큰 확장. gazeta에서 PPL 13.00, Triton/SDPA 최적화 ×1.85. 개발자를 위한 지침.

transformers용 ruGPT-3 XL 복원

레거시 ruGPT-3 XL을 fine-tuning 및 추론을 위한 HF 형식으로 변환하는 방법을 알아보세요. 가중치 구조, 커스텀 클래스, MERA 벤치마크. 개발자를 위한 지침.