BitNet 구동해보기(윈도에서)

유튜브 영상 참조함. 얼마전에 발표된 Microsoft의 BitNet을 로컬에서 구동해보기로 했는데, 이런저런 소식으론 한글 입출력이 가능.....은 한데 좀 질문 답변을 올바르게 하는 건 아니고, 영어로 묻고 답하면 그럭저럭 빠른 속도로 잘 대답해주더라. 허깅페이스에서 모델 다운로드 가능. BitNet b1.58 2B4T. git도 필요하니 없다면 git도 설치해줍시다(또는 winget install git.git).

 

윈도에서 구동한다면 파이썬 3.9 이상, cmake 3.22 이상, Clang 1.8이상이 필요하다. VS2022도. 커뮤니티 에디션 설치하면 되고, Desktop-development with C++, C++-CMake Tools for Windows, Git for Windows, C++-Clang Compiler for Windows, MS-Build Support for LLVM-Toolset (clang) 를 같이 설치해주면 된....다고 하는데 뭔가 자꾸 오류 떠서 유튭 검색하니 CUDA이용하는 방법으로 알려주더라. 이러면 CUDA 키트 지원하는 NVIDIA 글카 필요하다.

 

괜히...위에것만 체크하니 20GB 정도 요구하더라(워크로드에서 C++를 사용한 데스크톱 개발 선택, 개별 구성 요소에서 검색창에 clang, llvm, 등으로 검색하면 나오는 거 체크). 그냥 이걸로 할걸.. 이후 파이썬, 파이토치를 설치해 줍시다.

 

허깅페이스에 회원가입 후 설정(Settings) > 엑세스 토큰(Access Tokens)로 간 뒤, 새로 토큰을 만들면서 Repositories에 대한 읽기, 쓰기 권한 다 체크한 뒤, 저장, 토큰 따로 메모장 등에 복사해두자. 참 각 소프트웨어나 설명이 조금씩 바뀌니까 구글링 해보는 습관 가집시다.

 

로 하면 되고, 환경 변수에서 path 추가해줘야함. 이후 CMD(관리자 권한) 열어서 다음을 입력하자.

저장할 폴더 만들고(mkdir 써도 되고 윈도에서 만들어도 되고, 아무튼 위치에 CMD만 관리자로 띄워둡시다),

python -m venv env1
env1\Scripts\activate.bat
pip install -U "huggingface_hub[cli]"
huggingface-cli login

 

CMD에서 비밀번호 붙여 넣어도 안보인다고 메시지 떠 있으니 잘 보고(CMD에서 붙여 넣기는 마우스 우클릭) 붙여 넣은 후, 엔터, 이후 n누르고 토큰 활성화.

 

 

파이토치 설치가 안되어 있으면 이때 설치해주고(Stable - Windows - Pip, Cuda 12.x)같이 설치하면 된다.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

 

이후 허깅페이스 모델 설명에서 요구(Requirements)하는 transformers 설치

pip install transformers

 

accelerate 설치

pip install accelerate

 

VS CODE 실행(여타 에디터도 가능)

code .

 

파일 - 새로만들기로 test.py 등으로 만들고, 위에서 만든 폴더에 저장, 코드는 예제 코드 복사하면 됨.

1

복붙하되, 가운데 #Load tokenize and model 주석 부분에서 torch_dtype아래에 bfloat16 뒤에 , 다음줄에 device_map="auto" 넣어주고 저장. 이거 안하면 CPU로 구동된다고.

 

이거랑 import torch 바로 아래에 다음을 넣어줍시다.

torch._dynamo.config.suppress_errors = True

 

를 넣어주면 잘 실행된다. 사용 방법은 저 위에 role 부분의 코드를 수정해서 물어보는 방법으로 사용 가능.

 

이리저리 여러 PC에서 해보는데 생각보다 의존성 되게 커서; 도중에 버전 하나만 바꿔도 안되고(기존에 설치된 것도 있고하니), trust_remote_code=True 추가해달라고도 하고(제미나이에게 물어서 인자로 2개 넣었다), 이게 오늘은 되는데 다음주에 이게 된다고 볼 수도 없고, lm studio에서도 guff 파일 불러와도 에러뜨고 그래서 손쉽게 사용하기는 좀 어려운 모델이 아닐까...싶다.

 

그냥 맘편히 데비안 하나 설치해서 해보면 좀 더 편해요...MS에서 만든건데 왜 윈도에서 구동하기가 이렇게 힘든거야...