By admin
당신과 친구가 비밀스러운 문장만을 사용하여 서로에게 비밀 메시지를 전달하는 것이 목표인 게임을 하고 있다고 상상해 보십시오. 당신의 친구의 임무는 당신의 문장 뒤에 숨은 비밀 메시지를 추측하는 것입니다. 때로는 당신이 직접 힌트를 주기도 하고, 어떤 경우에는 친구가 당신이 제공한 단서에 대해 예 또는 아니오 질문을 하여 메시지를 추측해야 합니다. 문제는 두 사람 모두 서로를 올바르게 이해하고 비밀 메시지에 동의하는지 확인하기를 원한다는 것입니다.
MIT 컴퓨터 과학 및 인공 지능 연구소(CSAIL) 연구원들은 AI가 텍스트를 이해하고 생성하는 방식을 개선하는 데 도움이 되는 유사한 “게임”을 만들었습니다. 이는 “합의 게임”으로 알려져 있으며 AI 시스템의 두 부분으로 구성됩니다. 한 부분은 문장을 생성하는 부분(예: 단서 제공)과 다른 부분은 해당 문장을 이해하고 평가하는 부분(예: 비밀 메시지 추측)입니다.
연구원들은 AI의 두 부분이 특정 규칙에 따라 함께 작동하여 올바른 메시지에 동의하는 게임으로 이러한 상호 작용을 처리함으로써 질문에 정확하고 일관된 답변을 제공하는 AI의 능력을 크게 향상시킬 수 있음을 발견했습니다. 그들은 독해, 수학 문제 해결, 대화 진행 등 다양한 작업에서 이 새로운 게임과 같은 접근 방식을 테스트한 결과 AI가 전반적으로 더 나은 성능을 발휘하는 데 도움이 된다는 사실을 발견했습니다.
전통적으로 대규모 언어 모델은 모델에서 직접 답변을 생성하거나(생성 쿼리) 모델을 사용하여 미리 정의된 답변 집합에 점수를 매기는 방법(차별 쿼리) 중 하나에 응답합니다. 이는 서로 다르거나 때로는 호환되지 않는 결과로 이어질 수 있습니다. 생성적 접근 방식을 사용하면 “미국 대통령은 누구입니까?” “Joe Biden”과 같은 간단한 대답이 나올 수도 있습니다. 그러나 차별적인 쿼리는 “Barack Obama”와 같은 동일한 답변을 평가할 때 이 사실에 대해 잘못 이의를 제기할 수 있습니다.
그렇다면 일관되고 효율적인 예측을 달성하기 위해 상호 호환되지 않는 채점 절차를 어떻게 조정합니까?
“언어 모델이 게임처럼 텍스트를 이해하고 생성하는 데 도움이 되는 새로운 방법을 상상해 보세요. 우리는 전체 프로세스를 생성기가 시도하는 단서와 신호의 복잡한 게임으로 처리하는 교육이 필요 없는 게임 이론적인 방법을 개발했습니다. 자연어를 사용하여 판별자에게 올바른 메시지를 보냅니다. 체스 말 대신 단어와 문장을 사용하고 있습니다.”라고 MIT 전기 공학 및 컴퓨터 과학 박사 과정 학생이자 CSAIL 제휴사인 Athul Jacob은 말합니다. “이 게임을 탐색하는 우리의 방법은 ‘균형 순위’라는 새로운 디코딩 알고리즘으로 이어지는 ‘대략적인 균형’을 찾는 것입니다. 이는 게임 이론 전략을 혼합하여 언어 모델을 더욱 안정적이고 일관되게 만드는 데 있어 몇 가지 큰 과제를 어떻게 해결할 수 있는지 보여주는 매우 흥미로운 시연입니다.”
독해력, 상식적 추론, 수학 문제 해결, 대화 등 다양한 작업에 걸쳐 테스트했을 때 팀의 알고리즘은 이러한 모델의 성능을 지속적으로 향상시켰습니다. LLaMA-7B 모델과 함께 ER 알고리즘을 사용하면 훨씬 더 큰 모델의 결과보다 훨씬 뛰어납니다. Jacob은 “이미 경쟁력이 있고 사람들이 한동안 작업해 왔지만 크기가 10배나 되는 모델을 능가할 수 있는 개선 수준은 기분 좋은 놀라움이었습니다.”라고 말합니다.
게임 시작
제1차 세계 대전 이전 유럽을 배경으로 한 전략 보드 게임인 “외교”는 플레이어가 주사위를 사용하지 않고 순전히 기술, 전략 및 대인 관계 조작에 의존하여 동맹을 협상하고, 친구를 배신하고, 영토를 정복하는 게임입니다. . 2022년 11월 Jacob을 포함한 컴퓨터 과학자들은 앞서 언급한 기술과 동일하지만 자연어를 사용하여 혼합 동기 7인 게임에서 인간 수준의 기능을 달성하는 AI 에이전트인 “Cicero”를 개발했습니다. 이것의 이면에 있는 수학은 부분적으로 합의 게임에 영감을 주었습니다.
AI 에이전트의 역사는 OpenAI의 소프트웨어가 2022년 11월에 채팅에 들어갔을 때보다 훨씬 이전이지만, 여전히 선의이지만 병적인 친구로 코스프레할 수 있다는 것이 잘 기록되어 있습니다.
합의 게임 시스템은 합의에 따라 균형에 도달하여 모델의 원래 통찰력에 대한 정확성과 충실도를 보장합니다. 이를 달성하기 위해 이 방법은 현실을 정확하게 반영하고 초기 신념과 일치하는 답변에 대한 합의에 도달할 때까지 생성 구성 요소와 판별 구성 요소 간의 상호 작용을 반복적으로 조정합니다. 이 접근 방식은 두 쿼리 방법 간의 격차를 효과적으로 해소합니다.
실제로, 특히 질문 답변 작업의 경우 언어 모델 쿼리에 대한 합의 게임 접근 방식을 구현하는 데는 상당한 계산 문제가 수반됩니다. 예를 들어 수천 개의 질문과 객관식 답변이 있는 MMLU와 같은 데이터 세트를 사용하는 경우 모델은 각 쿼리에 메커니즘을 적용해야 합니다. 그런 다음 모든 질문과 가능한 답변에 대한 생성 구성 요소와 판별 구성 요소 간의 합의에 도달해야 합니다.
시스템은 초등학교 통과권, 즉 수학 단어 문제로 인해 어려움을 겪었습니다. 잘못된 답을 생성할 수는 없습니다. 이는 올바른 답을 찾는 과정을 이해하는 데 중요한 구성 요소입니다.
“지난 몇 년 동안 전략적 의사 결정과 AI 시스템의 언어 생성 모두에서 정말 인상적인 진전을 보았지만 우리는 이 둘을 통합하는 방법을 이제 막 알아내기 시작했습니다. 균형 순위는 이 방향의 첫 번째 단계이지만 이를 더 복잡한 문제로 확장하기 위해 우리가 할 수 있는 일이 많이 있다고 생각합니다.”라고 Jacob은 말합니다.
향후 작업의 방법에는 현재 방법의 결과를 통합하여 기본 모델을 향상시키는 것이 포함됩니다. 이는 사실성 및 개방형 생성을 포함한 다양한 작업에 걸쳐 보다 사실적이고 일관된 답변을 얻을 수 있기 때문에 특히 유망합니다. 기본 모델의 성능을 크게 향상시키는 이러한 방법의 잠재력은 높으며, 이로 인해 사람들이 매일 사용하는 ChatGPT 및 유사한 언어 모델에서 보다 신뢰할 수 있고 사실에 기반한 출력을 얻을 수 있습니다.
“ChatGPT 및 Gemini와 같은 최신 언어 모델이 채팅 인터페이스를 통해 다양한 작업을 해결하게 되었지만 이러한 모델에서 응답을 생성하는 통계적 디코딩 프로세스는 수십 년 동안 변함이 없었습니다.”라고 Google 연구 과학자인 Ahmad Beirami는 말합니다. 작업에 참여하지 않습니다. “MIT 연구원의 제안은 합의 게임의 균형을 해결하여 언어 모델에서 디코딩하기 위한 혁신적인 게임 이론 프레임워크입니다. 연구 논문에서 보고된 상당한 성능 향상은 유망하며 언어의 잠재적인 패러다임 전환의 문을 엽니다. 새로운 애플리케이션의 급증을 촉진할 수 있는 모델 디코딩입니다.”
Jacob은 MIT-IBM Watson Lab 연구원 Yikang Shen, MIT 전기 공학 및 컴퓨터 과학부 조교수 Gabriele Farina 및 CSAIL 회원이기도 한 Jacob Andreas와 함께 논문을 작성했습니다. 그들은 이번 달 초 ICLR(International Conference on Learning Representation)에서 자신들의 연구 결과를 발표했는데, 그곳에서 이 연구는 “스포트라이트 논문”으로 강조되었습니다. 이 연구는 또한 2023년 12월 NeurIPS R0-FoMo 워크샵에서 ‘우수 논문상’을 받았습니다.