콘텐츠로 이동

삼국지 QA 프로젝트 가이드

이 가이드는 삼국지 QA 시스템을 설치하고 실행하는 방법을 안내합니다.

프로젝트 스켈레톤 구조

arch

Project Architecture

설치 방법

  • 프로젝트 클론 및 환경 설정
git clone https://github.com/jonhpark7966/3kingdoms_qa.git
cd 3kingdoms_qa/3kingdoms_api_server

python -m venv venv
source ./venv/bin/activate
pip install -r requirements.txt
  • API 서버 실행

중요: main.py 파일 내에서 OpenAI API 키를 설정해야 합니다.

# main.py 파일에서 OpenAI API 키 설정 후 실행
python ./main.py

2. 제출 & 테스트

  • 리더보드 서버 접속
http://172.23.251.61:8501/
  • API 엔드포인트를 제출
https:// ..... elice.io/answer
3kingdoms_leaderboard

3kingdoms Leaderboard

결과 관찰!

3. vllm 서버 설정

새로운 터미널을 열고 vLLM 서버 실행

vllm serve qwen/Qwen2.5-3B-Instruct --port 8001 --api-key APIKEY

main.py 파일 수정

  • API 키 업데이트
  • vLLM 서버 주소 수정
# main.py 파일 수정
client = OpenAI(api_key='APIKEY', base_url="http://0.0.0.0:8001/v1")

...

# 모델 이름 수정
response = client.chat.completions.create(
    model="qwen/Qwen2.5-3B-Instruct",  # QWEN 모델 사용
    messages=
...
  • 수정 후, FastAPI 엔드포인트를 다시 제출하세요.

4. 프로젝트 진행

모델을 학습한 후, 교체해서 테스트 해보세요!

조건

  • answer endpoint 는 30초 안에 대답해야합니다.
  • 테스트 데이터는 학습하면 안됩니다.
  • 제공된 GPU 에서 학습, 데이터 생성 모두 수행해야합니다.
  • RAG, Agents 와 같은 기법은 사용이 불가합니다.
  • 프롬프팅 / LLM 을 여러번 사용하는 것 정도만 사용해야합니다.

5. 간이 테스트

https:// ..... elice.io/docs

접속 후, 스웨거 페이지에서 테스트 해보세요