< (왼쪽부터) 전산학부 김민수 교수, 이명화 박사과정, 안선호 석사과정 >
기업 내외의 상황에 따라 끊임없이 새롭게 결정해야 하는 기업 의사결정 문제는 지난 수십 년간 기업들이 전문적인 데이터 분석팀과 고가의 상용 데이터베이스 솔루션들을 통해 해결해 왔는데, 우리 연구진이 최초로 거대언어모델을 이용하여 풀어내어 화제다.
우리 대학 전산학부 김민수 교수 연구팀이 의사결정 문제, 기업 데이터베이스, 비즈니스 규칙 집합 세 가지가 주어졌을 때 거대언어모델을 이용해 의사결정에 필요한 정보를 데이터베이스로부터 찾고, 비즈니스 규칙에 부합하는 최적의 의사결정을 도출할 수 있는 기술(일명 계획 RAG, PlanRAG)을 개발했다고 19일 밝혔다.
거대언어모델은 매우 방대한 데이터를 학습했기 때문에 학습에 사용된 바 없는 데이터를 바탕으로 답변할 때나 오래전 데이터를 바탕으로 답변하는 등 문제점들이 지적되었다. 이런 문제들을 해결하기 위해 거대언어모델이 학습된 내용만으로 답변하는 것 대신, 데이터베이스를 검색해 답변을 생성하는 검색 증강 생성(Retrieval-Augmented Generation; 이하 RAG) 기술이 최근 각광받고 있다.
그러나, 사용자의 질문이 복잡할 경우 다양한 검색 결과를 바탕으로 추가 정보를 다시 검색하여 적절한 답변을 생성할 때까지 반복하는 반복적 RAG(IterativeRAG)라는 기술이 개발됐으며, 이는 현재까지 개발된 가장 최신의 기술이다.
연구팀은 기업 의사결정 문제가 GPT-3.5 터보에서 반복적 RAG 기술을 사용하더라도 정답률이 10% 미만에 이르는 고난도 문제임을 보이고, 이를 해결하기 위해 반복적 RAG 기술을 한층 더 발전시킨 계획 RAG(PlanRAG)라는 기술을 개발했다.
< 그림 1. Europa Universalis IV에 기반하여 제작된 의사결정 질의응답 벤치마크의 문제 상황과, PlanRAG 기반 LLM이 세 단계의 의사결정 과정에 따라 문제를 해결하는 예시(영문에서 번역된 내용). 이 문제는 국가간의 무역 경쟁이 있는 대항해시대를 배경으로 하며, LLM은 국가의 이익을 최대로 하기 위한 무역 거점(붉은 점으로 표시됨)을 결정하여야 한다. 예시에서는 LLM이 BAH 라는 국가의 이익을 최대로 하기 위해서 국제 무역에 관한 데이터베이스와 규칙을 확인하고, Doab 무역 거점에 상인을 배치하는 의사결정을 한다. 종래의 RAG 기술들은 단계 1을 수행하지 않는다. >
계획 RAG(PlanRAG)는 기존의 RAG 기술들과 다르게 주어진 의사결정 문제, 데이터베이스, 비즈니스 규칙을 바탕으로 어떤 데이터 분석이 필요한지에 대한 거시적 차원의 계획(plan)을 먼저 생성한 후, 그 계획에 따라 반복적 RAG를 이용해 미시적 차원의 분석을 수행한다.
이는 마치 기업의 의사결정권자가 어떤 데이터 분석이 필요한지 계획을 세우면, 그 계획에 따라 데이터 분석팀이 데이터베이스 솔루션들을 이용해 분석하는 형태와 유사하며, 다만 이러한 과정을 모두 사람이 아닌 거대언어모델이 수행하는 것이 커다란 차이점이다. 계획 RAG 기술은 계획에 따른 데이터 분석 결과로 적절한 답변을 도출하지 못하면, 다시 계획을 수립하고 데이터 분석을 수행하는 과정을 반복한다.
김민수 교수는 “지금까지 거대언어모델 기반으로 의사결정 문제를 푼 연구가 없었던 관계로, 기업 의사결정 성능을 평가할 수 있는 의사결정 질의응답(DQA) 벤치마크를 새롭게 만들었다. 그리고 해당 벤치마크에서 GPT-4.0을 사용할 때 종래의 반복적 RAG에 비해 계획 RAG가 의사결정 정답률을 최대 32.5% 개선함을 보였다. 이를 통해 기업들이 복잡한 비즈니스 상황에서 최적의 의사결정을 사람이 아닌 거대언어모델을 이용하여 내리는데 적용되기를 기대한다”고 말했다.
이번 연구에는 김 교수의 제자인 이명화 박사과정과 안선호 석사과정이 공동 제1 저자로, 김 교수가 교신 저자로 참여했으며, 연구 결과는 자연어처리 분야 최고 학회(top conference)인 ‘NAACL’ 에 지난 6월 17일 발표됐다. (논문 제목: PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers)
한편, 이번 연구는 과기정통부 IITP SW스타랩 및 ITRC 사업, 한국연구재단 선도연구센터인 암흑데이터 극한 활용 연구센터의 지원을 받아 수행됐다.
과학기술정보통신부·정보통신기획평가원이 주관하는 PIM인공지능반도체 핵심기술개발사업의 지원을 받고있는 우리 대학 PIM반도체설계연구센터가 AI 반도체 전문인력 양성을 위해 전국 AI 및 반도체 관련 학과 학부생과 대학원생을 대상으로 SK하이닉스와 삼성전자의 PIM* 기반 이론 및 실습 교육을 진행했다. 강의는 6월 20일(목)부터 6월 21일(금)까지 SK하이닉스 교육, 7월 4일(목)부터 7월 5일(금)까지 삼성전자 교육을 각각 KAIST PIM반도체설계연구센터에서 진행했다. *PIM(Processing-In-Memory): 메모리 반도체에 연산 기능을 추가하여 AI와 빅데이터 처리 분야에서 데이터 처리 속도를 높이면서도 사용 전력을 줄이는 반도체 설계 기술 이번 교육은 SK하이닉스의 AiM*과 삼성전자의 HBM-PIM*을 활용하여 수강생들이 직접 실습할 수 있는 기회를 제공했다. 전국 25개 대학교에서 300명이 넘는 학생들이 접수하여 높은 관심을 받았다
2024-07-11우리 대학 국제협력처 글로벌전략사업추진단(단장 임만성)이 올해 세 번째로 개최한 '2024 글로벌 기업가정신 써머스쿨(GESS; Global Entrepreneurship Summer School, 이하 2024 KAIST GESS)'가 성료됐다. KAIST GESS는 학생들이 세계적인 창업 허브인 실리콘밸리 지역을 방문해 창업 생태계를 직접 경험하고, 글로벌 진출을 위한 역량을 함양할 수 있도록 기획된 프로그램이다. 서류, 면접 및 발표 심사, 멘토링 및 동료 평가를 거쳐 선발된 20명과 우리 대학 경영대학 소속 임팩트(Impact) MBA 교육과정생 17명 등 총 37명이 참가했다. 참가자들은 지난 5월부터 약 2개월간 우리 대학에 재학 중인 선배 창업가로부터 비즈니스 모델 개발 및 투자발표에 대한 멘토링을 받은 후 대전 본원 캠퍼스에서 팀별 사업 아이템을 발전시켰다. 이후 지난달 23일부터 7일간 미국 현지 코트라 실리콘밸리 무역관, 제이피 모건(JP Morgan),
2024-07-05우리 대학 바이오혁신경영전문대학원(원장 권영선)이 우리나라 바이오벤처 생태계를 강화하기 위해 국내 최초의 산학 연계 '바이오벤처 엑셀러레이션 프로그램'을 3월 9일 시작했다. 설립 3년 이내의 창업 초기 단계의 바이오벤처기업을 지원하기 위해 마련된 이 프로그램은 선정된 회사들에게 3개월에 걸쳐 사업모델 검토, 시장 및 경쟁환경 분석, 주요 R&D 마일스톤, 재무 및 조직 운영계획 등 실질적인 회사 발전 전략 수립을 지원한다. 이를 위해 강지수 BNH Investment 전무이사, 김도형 온 힐 대표(前 노터스 대표), 김희경 KAIST 겸임교수(前 카인사이언스 대표, 前 삼성바이오에피스 임상의학 총괄), 이마세 인벤티지랩 CSO(前 동화약품 연구소장)를 포함해 국내 제약바이오산업 업계 최고의 전문가들이 자문위원으로 참여한다. 바이오혁신경영전문대학원은 공모를 통해 참여 기업을 모집한 후 지난달 29일 자문위원들의 심사를 거쳐 (주)엘레노바, 엔지틴, (주)프리
2024-03-11우리 대학이 2024년 창업기업 100개 배출을 목표로 새로운 창업 지원 프로그램을 시행한다. 오는 22일부터 참여 기업을 모집하는 'IR 컨설팅(IR Consulting)'은 딥 테크놀로지를 활용하는 우수 교원 창업기업을 대상으로 한다. 세계 시장에서 기업 가치와 기술 가치를 보다 공정하게 평가받을 수 있도록 체계적인 프로그램을 설계한 것이 특징이다. 이를 위해, 우리 대학 창업원(원장 배현민)은 창업 전문가로 구성된 TF를 꾸려 컨설팅을 희망하는 교원 창업기업을 지원할 계획이다. 투자 유치를 위해 필요한 시장성·경제성·권리성을 분석하고 더 나아가 마케팅·사업 추진·엑시트 전략 등을 함께 수립한다. 우수 교원 창업기업이 지속 가능한 성장을 이뤄갈 수 있도록 전 단계를 관리하는 것이 골자다. 또한, 창업기업의 비즈니스 모델을 고도화하고 해당 기술에 대한 산업계의 수요를 선제적으로 발굴하고 연계해 개발 기술을 활용할 수 있는
2024-01-18우리 대학 중소기업R&D공유센터(센터장 장영재)가 '중소기업 기술혁신을 위한 산학협력 전략과 사례' 워크숍을 지난 21일 파크하얏트 부산에서 개최했다. 중소기업R&D공유센터는 과학기술정보통신부 지원으로 2021년 개소했다. 4대 과기원(KAIST·GIST·DGIST·UNIST)에 재직 중인 24명의 교수와 84명의 연구원이 43개 기술혁신형 중소기업과 장기적인 팀을 이루어 6개 기술 분과를 구성했다. 이들은 연구실 전략기술 로드맵 개발, 기술이전 및 사업화, 기술 자문, 기술개발 사업 제안서 작성, 교육, 시험분석 장비 지원 등을 꾸준히 수행해 왔다.지난 3년간의 중소기업 기술혁신 및 활성화를 위해 노력한 결과를 돌아보고, 산학연 플랫폼으로써 한 단계 도약하는 방안을 논의하기 위해 마련된 이날 행사에는 4대 과기원의 우수 연구진과 파트너 중소기업 관계자 등 30여 명이 참석했다.참석자들은 기존의 네트워크를 기반으로 향후 산학
2023-12-29