llama-stack 사용법

llm 프레임워크 llama-stack의 사용법을 남기고자 합니다.

 

최근에 릴리즈 되었기때문에 개발자도 언급했듯이 지속적인 변경이 예상되기 때문에 계속해서 이 글도 업데이트하면서 작성하려 합니다.

 

llama-stack의 첫번째 단계는 llama-stack의 설치과 모델 다운로드 입니다.

 

https://www.llama.com/llama-downloads/

Download Llama

 

llama 다운로드 페이지로 접속하여 간단한 신상정보와 어떤 모델을 다운로드 할지 선택합니다.

 

모델은 huggingface에서도 받을 수 있지만 메타 페이지에서는 모델을 받을 수 있는 url를 즉각적으로 제공하기때문에 더 편해서 이쪽으로 이용합니다.

 

신상정보와 약관에 동의하면 llama-stack을 설치하는 방법과 모델을 다운로드 받을 수 있는 url을 제공합니다.

 

pip install llama-stack
llama model list
llama model list --show-all
llama model download --source meta --model-id  MODEL_ID

 

모델을 입력하면 meta url을 입력하라고 나오는데 custom URL을 복사해서 입력합니다.