모델 개요

• 모델명: Llama K
• 모델 정의: Meta의 Llama 3.1 기반으로 한국어 성능을 강화하고 다양한 자연어 생성 및 대화형 태스크에 최적화된 오픈소스 기반 모델

사용 목적

주요 용도

• 다양한 자연어 생성 태스크에 활용됩니다.
• Use case
  • 텍스트 생성: 프롬프트에서 제공된 정보의 확장, 프롬프트에 제공된 정보의 요약, 프롬프트 텍스트 분류, 프롬프트 텍스트에 대한 질문 응답
  • 채팅 모드: 사용자와의 대화 수행

의도된 사용 사례

• 본 모델은 지침 조정이 적용된 버전으로 모델 자체로 어시스턴트와 같은 채팅기능을 사용할 수 있고, 한국어 능력이 필요한 다양한 Task에 조정하여 (Fine tunning)하여 사용할 수 있습니다.

부적절한 사용 사례

• 비의도된 사용
  • 불법 물품, 심리적/정서적 유해 컨텐츠 제작, 잘못된 정보 생성 전파, 정치 캠페인 작성 등 정치와 관련 컨텐츠 제작 및 전파

모델 유형 및 아키텍쳐

모델 유형

• 텍스트 생성 모델

아키텍처

• 기본 모델은 Llama-3.1-70B Meta-Llama/Llama-3.1-70B · Hugging Face
• 기존 모델의 성능을 유지하면서, 한국어 성능을 높이기 위해 Llama pro (1) 방식을 응용하여 학습을 진행하였습니다.
• 양질의 한/영 데이터로 모델을 사전 연장(Continued Pre-training) 학습시켰으며, 지시 조정(Instruction tuning) 학습을 진행하였습니다.
• 직접 선호도 최적화 기법(Direct Preference Optimization), GRPO(Group Relative Policy Optimization) 기법을 활용하여 다단계로 언어 모델 강화 학습을 진행하였습니다.
• 실질적인 Long-Context 처리 성능 확보를 위한 LongPO 기법을 진행하였습니다.
• 그린 AI 구현을 위해 GPU 전력 사용 최소화 노력하였으며, Merge 기법을 적극적으로 활용하였습니다.
• 기본 모델의 Instruction 능력을 유지하기 위해서 기본 Instruct 모델의 Chat Vector(2) 를 활용하였습니다.

모델 크기(파라미터 수)

• 모델 크기(파라미터 수): 비공개
• 최대 입출력 길이 지원 (Context-Length) : 128K

학습 데이터

인문, 역사, 정치, 경제, 법률, 사회, 교육, 자연과학(지리), 문화 등 여러 한국적 도메인의 학습 데이터로 지식을 확장하였습니다. 또한, 한국어 지시 이행 능력 및 자연스러운 번역, 한국적 사설 작성과 같은 특화 능력을 위해 라벨링된 고품질의 데이터 셋으로 지도학습/강화 학습을 진행하였습니다. KT가 보유한 고객 데이터는 학습에 이용하지 않았습니다.

윤리적 고려사항 및 한계

윤리적 고려사항

• 학습 데이터에서 욕설, 비속어, 편견, 차별 등 비윤리적 표현을 제거하려고 노력하였습니다. 그럼에도 불구하고 위와 같은 바람직하지 않은 표현 또는 부정확한 사실이 생성될 가능성을 완전히 제거하지 못하였습니다.
• 본 모델을 사용하기 전 이러한 한계를 인식하고 올바른 사용을 위해 필요한 조치를 취하는 것은 사용자의 책임이며, KT는 본 모델의 활용이 야기하는 위험이나 손해에 대해 책임을 지지 않습니다.

위험 완화 조치

• 학습 데이터에서 개인정보 및 욕설, 비속어, 편견, 차별 등 비윤리적 표현을 최대한 제거하여 학습하였습니다.
• Alignment 학습을 통해 사용자의 응답에 좀 더 안전하게 답변할 수 있도록 응답을 조정하였습니다.
• 편향성을 지속적으로 모니터링하고 편향성 측정 항목 확대 및 필터링 적용을 확대하고 있습니다.
• 오용 방지 신고 절차를 수행하고 사용자 정책을 통해 금지된 사용 정책을 수립하였습니다.

한계

• 본 모델은 다른 새로운 기술과 마찬가지로 잠재적 위험을 사전에 다 다룰 수 없으며, 경우에 따라 부정확하거나 편향적이고 불편한 응답을 생성할 수 있습니다. 따라서 배포 전 개발 목적에 맞게 추가적인 안전 테스트 및 튜닝을 수행해야 합니다.