Vicuna: Llama, Alpaca 및 ChatGPT와 어떻게 비교됩니까?

AI 스타트업 창업자로서 귀하는 ChatGPT와 같은 대규모 언어 모델이 대화형 AI를 발전시키는 데 얼마나 큰 영향을 미쳤는지 알고 있을 것입니다.

그러나 상용 라이센스 비용, 검열 문제, 성능 저하, 개인 정보 보호 문제 및 블랙박스로 인해 이러한 독점 모델은 여전히 많은 스타트업에서 사용할 수 없습니다.

여기서 Vicuna라는 오픈 소스 프로젝트가 등장합니다. Stanford와 같은 기관의 연구원 팀이 개발한 Vicuna는 ChatGPT 품질의 90% 이상을 달성하는 오픈 소스 대화 모델입니다. 이는 GPT-4와 같은 폐쇄형 모델에 대한 흥미로운 대안이 됩니다.

이와 같은 더 많은 콘텐츠를 보려면 Twitter 에서 나를 구독하거나 팔로우하세요!

이 기사에서는 Vicuna가 무엇인지, 어떻게 작동하는지, 기능은 무엇인지, 그리고 AI 창립자로서 Vicuna를 어떻게 활용할 수 있는지 살펴보겠습니다. ChatGPT 및 기본 LLaMA 모델과 같은 경쟁업체와 어떻게 비교되는지 살펴보겠습니다.

또한 모델의 특정 측면에 대한 추가 정보를 얻기 위해 따를 수 있는 몇 가지 유용한 팁과 가이드를 공유하겠습니다.

이 기사에서는 Vicuna-13b에 중점을 둘 것이지만 시도해 볼 수 있는 다양한 크기의 Vicuna 모델이 많이 있습니다. 의 시작하자!

참고: Vicuna는 채팅용 LLaMA를 미세 조정하는 유일한 모델이 아닙니다. 대화형 애플리케이션에 LLaMA v2 , Alpaca 및 LLaMA-v2-chat 사용에 대한 가이드를 확인하세요 .

비쿠나 개요

대화형 AI 세계에서는 최근 ChatGPT와 같은 모델이 놀라운 자연어 능력을 보여주는 놀라운 발전을 보았습니다. 그러나 위에서 설명한 모든 문제가 있는 독점 모델인 ChatGPT는 많은 개발자에게 여전히 나쁜 옵션으로 남아 있습니다.

따라서 대화형 앱의 혁신을 강화할 수 있는 보다 접근하기 쉽고 개방적인 모델이 필요합니다.

이것이 바로 Vicuna가 등장하는 곳입니다. Stanford, Berkeley, MBZUAI와 같은 주요 기관의 연구원들이 개발한 Vicuna는 최첨단 개방형 대화형 AI를 대표합니다.

큐레이트된 대화 데이터에서 LLaMA 모델을 미세 조정하여 생성되었으며, 오픈 소스 기반 모델의 전이 학습의 힘을 보여줍니다.

ChatGPT보다 크기는 작지만 Vicuna는 대화 품질을 유지하며 다른 개방형 모델보다 훨씬 뛰어난 성능을 발휘합니다.

그러나 Vicuna의 기술은 단지 기술에 관한 것이 아닙니다. 이것이 정말로 영향력이 있는 이유는 비상업적 연구 라이센스 하에서 가용성이 가능하기 때문입니다. 이를 통해 이전에는 대규모 기술 회사에만 국한되었던 최첨단 대화형 AI에 대한 액세스가 가능해졌습니다.

마침내 우리는 차세대 챗봇, 가상 비서, 대화형 검색 엔진 및 기타 혁신적인 애플리케이션을 강화할 수 있는 개방형 모델을 갖게 되었습니다.

Vicuna의 약속은 이를 활용하는 멋진 프로젝트를 통해 이미 입증되었습니다. 예를 들어 MiniGPT4는 Vicuna를 사용하여 지능형 가상 비서를 구축했고, LLaVA는 이를 통해 대화형 검색 엔진을 만들었으며, ToolLLaMA는 Vicuna의 자연어 콘텐츠 생성 기능을 활용했습니다.

그리고 물론 언젠가 이 목록에 자신의 프로젝트를 추가할 수도 있습니다!

AI 개발자와 스타트업에게 Vicuna는 흥미롭고 새로운 기회를 의미합니다. 높은 기능, 무료 가용성 및 허용되는 연구 라이센스를 통해 대화형 앱의 신속한 프로토타입 제작이 가능합니다.

이제 스타트업은 독점 모델에 대한 접근 제한을 받는 대신 최첨단 대화형 AI를 통해 제품을 검증하고 구축할 수 있습니다. 경기장이 평준화되었습니다.

요약하자면, Vicuna는 최고 수준의 대화형 지능에 대한 액세스를 민주화할 것을 약속합니다. 그 출현은 혁신을 강화하는 개방형 AI 모델을 만드는 데 중요한 이정표를 나타냅니다.

대화형 AI를 활용하려는 스타트업이라면 Vicuna는 확실히 주목할 만한 프로젝트입니다!

비쿠나는 어떻게 만들어졌나요? 무엇이 특별할까요?

Vicuna의 이야기는 Meta AI가 개발한 오픈 소스 언어 모델인 LLaMA에서 시작됩니다. LLaMA는 능력은 있지만 본질적인 대화 능력은 없었으며 주로 대화 기술보다는 언어 자체에 중점을 두었습니다.

스탠포드, 버클리, MBZUAI를 포함한 기관의 연구원들은 이러한 상황을 바꾸기 시작했습니다. 그들의 목표는 ChatGPT와 같은 독점 챗봇과 경쟁할 수 있는 오픈 소스 대화 모델을 만드는 것이었습니다.

그런데 텍스트를 처리하고 분석하도록 훈련된 AI 모델(예: LLaMA)과 채팅에 특화된 모델(예: Vicuna)의 차이점은 무엇인가요? 두 가지를 구별하는 몇 가지 주요 요소가 있습니다.

• 아키텍처 - Vicuna와 같은 대화형 모델은 대화에 최적화된 인코더-디코더 구조를 가지고 있습니다. 인코더는 대화 기록과 현재 사용자 입력을 상황에 맞게 설명합니다. 그런 다음 디코더는 관련 응답을 생성합니다. LLaMA와 같은 일반 언어 모델에는 이러한 특수 아키텍처가 부족합니다.

• 훈련 목표 - Vicuna와 같은 모델은 특히 대화 작업에서 성능을 극대화하도록 미세 조정되었습니다. 여기에는 대화 측정항목을 최적화하기 위한 대화 데이터세트에 대한 교육이 포함됩니다. LLaMA는 대화에 특화되지 않고 텍스트에 대해 보다 일반적으로 훈련됩니다.

• 다중 전환 기능 - 대화 모델은 다중 전환 대화를 처리하고 여러 교환에서 컨텍스트와 일관성을 유지해야 합니다. 일반 텍스트 모델은 한 번에 하나의 입력을 평가합니다.

• 상호작용성 - 대화형 AI는 사용자와 원활하게 상호작용하고 후속 질문과 설명에 응답해야 합니다. 텍스트 평가는 보다 수동적이며 사용자 상호 작용이 부족합니다.

• 평가 - 대화형 모델에는 일관성, 뉘앙스, 부적절한 응답을 적절하게 처리하는 능력과 같은 품질 테스트, 텍스트 측정항목을 넘어서는 더 복잡한 평가가 필요합니다.

LLaMA와 같은 일반 언어 모델은 대화 에이전트와 관련된 요구 사항 없이 텍스트 분석 및 생성에 더 중점을 두는 반면, 대화형 AI의 목표는 수동적 텍스트 평가보다 근본적으로 더 복잡합니다.

이를 위해 Vicuna를 만든 연구원들은 70,000개가 넘는 인간-ChatGPT 대화 교환에서 LLaMA를 미세 조정하여 대화 모델을 전문화하고 대화 맥락에서 텍스트의 자연스러운 특성을 가르쳤습니다.

이러한 미세 조정은 LLaMA 버전에 이전에 부족했던 대화 지능을 제공하는 데 매우 중요했습니다. 대화 데이터에 대한 반복 학습을 통해 LLaMA는 다중 회전 대화에 최적화된 인코더-디코더 변환기인 Vicuna로 변환되었습니다.

그들의 노력은 얼마나 효과가 있었나요?

경기장 속으로: 대체 채팅 AI 모델을 기준으로 Vicuna 평가

Vicuna의 기능을 평가하기 위해 연구원들은 200개의 다양한 대화 프롬프트에서 이를 테스트했습니다. 추가 평가를 위해 GPT-4 모델을 사용하여 Vicuna의 반응을 비교 판단했습니다.

결과에 따르면 Vicuna는 크기가 작음에도 불구하고 대화 능력에서 ChatGPT 품질의 90% 이상을 달성한 것으로 나타났습니다. 이는 원래 LLaMA 모델보다 훨씬 뛰어난 성능을 보였습니다.

아키텍처 최적화와 인간 대화 데이터의 전문적인 미세 조정을 결합함으로써 연구원들은 LLaMA를 독점적인 챗봇과 동등한 오픈 소스 대화 모델로 성공적으로 향상시켰습니다.

공식 프로젝트 사이트 에서 가져온 정면승부 테스트를 예로 들어보겠습니다.

Vicuna와 경쟁사 모델 간의 일대일 챌린지 예시(이 경우 ChatGPT-3.5를 잠재적인 대안으로 사용)

프로젝트 사이트에는 Vicuna-13b와 경쟁 모델이 직접 대결하도록 요청되는 예제 작업 모음이 있습니다. 그런 다음 GPT-4 모델은 각 모델의 점수를 매기고 그 이유를 설명하는 심사위원으로 사용됩니다.

이것은 정말 놀라운 비교를 만들어냅니다. 위 이미지에는 한 가지 예가 나와 있습니다. 또 다른 과제는 아래와 같습니다.

• 카테고리: 롤플레잉
• 질문: 왕실 연회에서 중세 기사로서 자신을 어떻게 소개하시겠습니까?

LLaMA-13b의 응답:

"나는 왕에게 충성하는 용감한 기사입니다. 왕의 명예를 지키고 그의 나라를 지키기 위해 최선을 다하겠습니다. (말도 안 돼요! GPT-4에서 7/10을 기록했는데, 내 생각에는 매우 관대합니다.)"

비쿠나-13b:

**"**중세 기사로서 나는 왕실 연회에서 나의 미천한 출신과 왕관에 대한 충성심을 인정하면서 깊은 인사와 정중한 연설로 내 자신을 소개하곤 했습니다. 나는 다음과 같이 말할 것입니다.

"영주 여러분, 저는 겸손한 기사로서 왕국을 섬기고 수호할 것을 맹세했습니다. 저는 여러 세대에 걸쳐 이 왕국을 지키기 위해 싸워온 수많은 전사들 중 한 명입니다. 오늘 이 자리에 여러분과 함께 하게 된 것을 영광으로 생각합니다. 나는 나의 행동과 행동으로 여러분의 신뢰와 존경을 얻기를 바랍니다. 나는 나의 왕과 나의 백성을 섬기는 데 나의 칼과 방패와 나의 생명을 바칠 것을 맹세합니다."

그런 다음 나는 연회에 자리를 잡고 내 상급자들의 현명한 조언을 듣고 배우며 가능한 모든 방법으로 그들을 섬길 준비가 되어 있습니다."

와! Vicuna의 반응이 훨씬 더 좋습니다. Vicuna가 LLaMA의 우수한 대안이 되는 이유를 설명하는 GPT-4의 추론은 다음과 같습니다.

보조자 1 [LLaMA]는 간단하고 관련성이 높은 답변을 제공했지만 중세 기사의 소개에서 기대되는 세부 사항과 형식이 부족했습니다. 반면 조수 2 [비쿠나]는 기사의 겸손과 충성심, 왕국에 대한 헌신을 보여주는 정중한 연설을 포함하여 보다 포괄적이고 잘 구성된 응답을 제공했습니다. 이 반응은 왕실 연회의 맥락에 더 적합했으며 중세 기사의 역할과 예절에 대한 더 나은 이해를 보여주었습니다.

LLM은 다른 LLM의 완벽한 판단자가 아니지만 인간도 마찬가지입니다. AI를 판단하고 평가하기 위해 AI를 사용하는 것은 어떤 대안이 가장 좋은지 판단하는 확장 가능하고 일관된 방법이라고 생각합니다.

LMSYS.org 사이트 에서 다른 경쟁업체의 답변과 작업 중 일부를 확인해야 합니다.

직접 시도해 봅시다: Vicuna를 사용하여 기본 챗봇을 구축하는 방법

이제 모델이 몇 가지 대안과 어떻게 비교되는지 살펴보았으므로 명령줄에서 상호 작용할 수 있는 간단한 챗봇을 구축하는 방법을 살펴보겠습니다. 여기에 제공된 가이드의 단계를 더욱 확장하여 AI 프로젝트를 위한 나만의 챗봇을 계속해서 구축할 수 있습니다!

1단계: 설정

Node.js 설치 : 시스템에 Node.js가 설치되어 있는지 확인하세요.

프로젝트 디렉터리 생성 : 터미널에서 다음을 실행합니다.

 mkdir my-chatbot cd my-chatbot npm init -y npm install replicate

API 토큰 설정 : your_api_token_here 실제 API 토큰으로 바꿉니다.

 export REPLICATE_API_TOKEN=your_api_token_here

2단계: 챗봇 코드 작성

chatbot.js 라는 파일을 만들고 다음 코드를 추가합니다.

 const Replicate = require("replicate"); const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); async function generateResponse(prompt) { const output = await replicate.run( "replicate/vicuna-13b:version_hash_here", { input: { prompt: prompt }, } ); return output.items[0]; } const readline = require('readline'); const rl = readline.createInterface({ input: process.stdin, output: process.stdout }); function askQuestion() { rl.question('You: ', async (userInput) => { const botResponse = await generateResponse(userInput); console.log(`Bot: ${botResponse}`); askQuestion(); }); } askQuestion();

version_hash_here Vicuna 13b 모델에 대한 올바른 버전 해시로 바꾸십시오.

3단계: 챗봇 실행

다음을 실행하여 챗봇을 실행합니다.

 node chatbot.js

이제 명령줄을 통해 챗봇에 메시지를 보낼 수 있습니다!

나만의 챗봇을 만들고 싶지 않으신가요? 이 데모를 사용하여 Vicuna의 성능을 평가할 수 있습니다.

Vicuna-13b-v1.3의 모델 세부정보 페이지에는 모델을 가지고 놀 수 있는 몇 가지 데모가 포함되어 있습니다. 다음은 시도해 볼 수 있는 내장된 항목입니다(아래 링크에서 사용할 수 없는 경우 이 링크를 사용하여 액세스할 수도 있습니다).

zeno-ml로 구축된 이 데모를 사용하면 모델과 추가 매개변수를 비교하여 온도나 기타 매개변수를 다양하게 하면서 Vicuna가 LLaMA, GPT2, MPT와 같은 경쟁업체에 대해 얼마나 잘 수행되는지 확인할 수 있습니다.

비쿠나의 한계

대화형 기술이 빠르게 발전했지만 모델은 여전히 중요한 과제에 직면해 있습니다.

• 한 가지 문제는 지식 기반입니다. 대화형 에이전트는 실제 사실 지식에 대한 충분한 기반이 부족하여 그럴듯하게 들리지만 잘못된 응답을 하는 경향이 있습니다. 실제 세계에서 접지를 더 많이 하면 정확도가 향상될 수 있습니다.

• 추론 능력은 개선이 필요한 또 다른 영역입니다. 논리적 추론, 인과관계 추론, 수학적 연산을 수행하는 것은 챗봇에게는 여전히 어려운 일입니다. 그들의 추론 능력은 여전히 제한적입니다.

• 대규모로 AI 시스템의 대화 품질을 평가하는 것도 어려움을 겪습니다. 별도의 AI 심사위원을 요청하는 것과 같은 현재 솔루션에는 결함이 있습니다. 엄격한 평가 프레임워크를 개발하는 것은 공개된 문제입니다.

• 또한 불완전한 훈련 데이터에 대한 의존으로 인해 편견과 안전 문제가 지속됩니다. 대화형 모델은 때때로 부적절하거나 안전하지 않게 동작할 수 있습니다. 더 나은 훈련 데이터 큐레이션이 중요합니다.

• 특정 사용자와 사용 사례에 챗봇을 적용하는 것도 여전히 어려운 일입니다. 다양한 도메인에는 더 많은 개인화 및 사용자 정의가 필요합니다. 이 작업은 기본적으로 쉽게 수행할 수 없습니다.

큰 진전이 이루어졌지만 이러한 제한 사항은 개선이 필요한 주요 영역을 강조합니다.

지식 기반, 추론, 평가, 교육 데이터, 사용자 정의 및 배포 효율성을 향상하면 Vicuna와 같은 모델을 통해 다음 단계의 대화 인텔리전스를 구현할 수 있습니다.

결론: ChatGPT, LLaMA 및 기타 LLM에 대한 오픈 소스 대안으로 Vicuna AI 사용

Vicuna의 개발은 오픈 소스 대화형 AI 발전에 있어서 유망한 진전을 보여줍니다.

특히 대화 애플리케이션을 위해 LLaMA 모델 아키텍처와 훈련 방법을 미세 조정함으로써 연구원들은 선도적인 독점 대안과 경쟁할 수 있는 무료로 사용 가능한 대화 에이전트를 만들 수 있었습니다.

그러나 추론, 평가, 사용자 정의 및 기타 영역과 관련된 제한 사항을 해결하기 위한 작업은 여전히 남아 있습니다. Vicuna와 같은 모델은 많은 벤치마크에서 강력한 결과를 달성하지만 포괄적인 인간 대화를 완전히 복제하지는 않습니다.

이러한 모델을 정렬하는 데 대한 지속적인 연구가 중요할 것입니다.

그럼에도 불구하고, Vicuna는 최첨단 대화 지능에 대한 접근을 민주화하는 데 있어서 귀중한 진전을 나타냅니다.

챗봇, 어시스턴트, 기타 애플리케이션을 구축하는 스타트업과 개발자에게 Vicuna와 같은 오픈 소스 옵션은 제한적인 상용 라이선스 없이 환영받는 기능을 제공합니다.

Vicuna의 기원과 기술적 세부 사항은 대화형 AI에 대한 전문 교육 접근 방식에 대한 유용한 통찰력을 제공합니다. 연구가 계속됨에 따라 이러한 방법을 기반으로 하는 추가 혁신을 기대할 수 있습니다.

Vicuna의 저자는 이러한 유능한 대화 에이전트를 오픈 소스화하는 데 중요한 기여를 했습니다.

아직 더 많은 진전이 필요하지만 Vicuna는 개방형 대화 모델 개발에서 얻을 수 있는 의미 있는 결과를 보여줍니다. AI 커뮤니티에게 이는 최종 목적지가 아닌 유망한 단계를 의미합니다.

이러한 기술을 발전시키기 위한 지속적인 노력을 통해 앞으로의 잠재력은 여전히 흥미진진합니다.

이와 같은 더 많은 콘텐츠를 보려면 Twitter 에서 나를 구독하거나 팔로우하세요!

추가 자료 및 자료

새로운 제품이나 프로젝트를 위한 최고의 챗봇을 구축하려는 탐구에 이러한 다른 기사가 도움이 될 수 있습니다.

• Vicuna-13b 모델 세부정보 - 기본 모델 정보가 포함된 Vicuna 개요
• Vicuna-13B로 챗봇 구축 - Vicuna를 사용하여 챗봇 생성에 대한 기사
• 채팅용 LLM 비교: LLaMA v2와 Vicuna - LLaMA의 새 버전 2와 Vicuna 비교
• LangChain 채팅 모델: 개요 - LangChain은 채팅 애플리케이션 구축에 널리 사용되는 프레임워크입니다.

여기에도 게시됨