%EC%B6%94%EC%B2%9C%EC%8B%9C%EC%8A%A4%ED%85%9C
-
대형언어모델로 42% 향상된 추천 기술 연구 개발
최근 소셜 미디어, 전자 상거래 플랫폼 등에서 소비자의 만족도를 높이는 다양한 추천서비스를 제공하고 있다. 그 중에서도 상품의 제목 및 설명과 같은 텍스트를 주입하여 상품 추천을 제공하는 대형언어모델(Large Language Model, LLM) 기반 기술이 각광을 받고 있다. 한국 연구진이 이런 대형언어모델 기반 추천 기술의 기존 한계를 극복하고 빠르고 최상의 추천을 해주는 시스템을 개발하여 화제다.
우리 대학 산업및시스템공학과 박찬영 교수 연구팀이 네이버와 공동연구를 통해 협업 필터링(Collaborative filtering) 기반 추천 모델이 학습한 사용자의 선호에 대한 정보를 추출하고 이를 상품의 텍스트와 함께 대형언어모델에 주입해 상품 추천의 높은 정확도를 달성할 수 있는 새로운 대형언어모델 기반 추천시스템 기술을 개발했다고 17일 밝혔다.
이번 연구는 기존 연구에 비해 학습 속도에서 253% 향상, 추론 속도에서 171% 향상, 상품 추천에서 평균 12%의 성능 향상을 이뤄냈다. 특히, 사용자의 소비 이력이 제한된 퓨샷(Few-shot) 상품* 추천에서 평균 20%의 성능 향상, 다중-도메인(Cross-domain) 상품 추천**에서 42%의 성능 향상을 이뤄냈다.
*퓨샷 상품: 사용자의 소비 이력이 풍부하지 않은 상품.
**다중-도메인 상품 추천: 타 도메인에서 학습된 모델을 활용하여 추가학습없이 현재 도메인에서 추천을 수행. 예를 들어, 의류 도메인에 추천 모델을 학습한 뒤, 도서 도메인에서 추천을 수행하는 상황을 일컫는다.
기존 대형언어모델을 활용한 추천 기술들은 사용자가 소비한 상품 이름들을 단순히 텍스트 형태로 나열해 대형언어모델에 주입하는 방식으로 추천을 진행했다. 예를 들어 ‘사용자가 영화 극한직업, 범죄도시1, 범죄도시2를 보았을 때 다음으로 시청할 영화는 무엇인가?’라고 대형언어모델에 질문하는 방식이었다.
이에 반해, 연구팀이 착안한 점은 상품 제목 및 설명과 같은 텍스트뿐 아니라 협업 필터링 지식, 즉, 사용자와 비슷한 상품을 소비한 다른 사용자들에 대한 정보가 정확한 상품 추천에 중요한 역할을 한다는 점이었다. 하지만, 이러한 정보를 단순히 텍스트화하기에는 한계가 존재한다. 이에 따라, 연구팀은 미리 학습된 협업 필터링 기반 추천 모델로부터 사용자의 선호에 대한 정보를 추출하고 이를 대형언어모델이 이해할 수 있도록 변환하는 경량화된 신경망을 도입했다.
연구팀이 개발한 기술의 특징으로는 대형언어모델의 추가적인 학습이 필요하지 않다는 점이다. 기존 연구들은 상품 추천을 목적으로 학습되지 않은 대형언어모델이 상품 추천이 가능하게 하도록 대형언어모델을 파인튜닝(Fine-tuning)* 하는 방법을 사용했다. 하지만, 이는 학습과 추론에 드는 시간을 급격히 증가시키므로 실제 서비스에서 대형언어모델을 추천에 활용하는 것에 큰 걸림돌이 된다. 이에 반해, 연구팀은 대형언어모델의 직접적인 학습 대신 경량화된 신경망의 학습을 통해 대형언어모델이 사용자의 선호를 이해할 수 있도록 했고, 이에 따라 기존 연구보다 빠른 학습 및 추론 속도를 달성했다.
*파인튜닝: 사전 학습된 대규모 언어모델을 특정 작업이나 데이터셋에 맞게 최적화하는 과정.
연구팀을 지도한 박찬영 교수는 “제안한 기술은 대형언어모델을 추천 문제에 해결하려는 기존 연구들이 간과한 사용자-상품 상호작용 정보를 전통적인 협업 필터링 모델에서 추출해 대형언어모델에 전달하는 새로운 방법으로 이는 대화형 추천 시스템이나 개인화 상품 정보 생성 등 다양한 고도화된 추천 서비스를 등장시킬 수 있을 것이며, 추천 도메인에 국한되지 않고 이미지, 텍스트, 사용자-상품 상호작용 정보를 모두 사용하는 진정한 멀티모달 추천 방법론으로 나아갈 수 있을 것”이라고 말했다.
우리 대학 산업및시스템공학과 김세인 박사과정 학생과 전산학부 강홍석 학사과정(졸) 학생이 공동 제1 저자, 네이버의 김동현 박사, 양민철 박사가 공동 저자, KAIST 산업및시스템공학과의 박찬영 교수가 교신저자로 참여한 이번 연구는 데이터마이닝 최고권위 국제학술대회인 ‘국제 데이터 마이닝 학회 ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)’에서 올 8월 발표할 예정이다. (논문명: Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System).
한편 이번 연구는 네이버 및 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행됐다. (NRF-2022M3J6A1063021, RS-2024-00335098)
2024.07.17 조회수 2519 -
메모리-중심 인공지능 가속기 시스템 개발
삼성미래기술육성재단이 지원한 우리 대학 연구진이 세계 최초로 `프로세싱-인-메모리(Processing-In-Memory, 이하 PIM)' 기술을 기반으로 한 인공지능 추천시스템 학습 알고리즘 가속에 최적화된 지능형 반도체 시스템 개발에 성공했다.
전기및전자공학부 유민수 교수 연구팀은 PIM 기술 기반의 메모리-중심 인공지능 가속기 반도체 시스템을 개발했다고 16일 밝혔다. 유 교수는 관련 분야에서 그동안의 탁월한 연구 성과를 인정받아 올해 아시아에서 유일하게 페이스북 패컬티 리서치 어워드(Facebook Faculty Research Award)를 수상했다.
인공지능 기술을 기반으로 고안된 추천시스템 알고리즘은 구글(Google), 페이스북(Facebook), 유튜브(YouTube), 아마존(Amazon) 등 빅테크 기업들이 콘텐츠 추천 및 개인 맞춤형 광고를 제작하는데 기반이 되는 핵심 인공지능 (AI) 기술이다. 온라인 광고를 통한 수입은 구글과 페이스북과 같은 실리콘밸리의 빅테크 기업의 주 수익 모델인 만큼 고도화된 추천 인공지능 기술에 대한 수요는 최근 들어 급상승하는 추세다.
페이스북이 최근 공개한 자료에 따르면 페이스북 데이터센터에서 처리되는 인공지능 연산의 70%가 추천 알고리즘을 처리하는 데에 사용되며, 인공지능 알고리즘 학습을 위한 컴퓨팅 자원의 50%를 추천 알고리즘을 학습하는 데 사용하고 있다.
유민수 교수 연구팀은 최근 메모리 반도체에 인공지능 연산 기능이 추가된 프로세싱-인-메모리(PIM) 기술 기반의 지능형 반도체 시스템을 개발하는 데 성공했다. 유 교수팀이 개발한 이 시스템은 인공지능 추천시스템 알고리즘의 학습 과정을 엔비디아(NVIDIA)의 그래픽카드(GPU)를 사용하는 기존 인공지능 가속 시스템 대비 최대 21배까지 빠르다고 연구팀 관계자는 설명했다.
지능형 메모리 반도체 기술은 우리나라의 AI 반도체 세계시장 공략을 위한 핵심기술로 주목받고 있다. 특히 정부에서도 `AI 종합 반도체 강국 실현'이라는 비전 아래 막대한 국가적 투자를 아끼지 않는 핵심 투자 분야다. 따라서 유 교수팀의 연구 성과는 향후 막대한 수요와 급성장이 예상되는 세계 AI 반도체 시장에서 메모리-중심으로 설계된 PIM 기술의 상용화 및 성공 가능성을 시사한다는 점에서 의미가 크다고 전문가들은 평가하고 있다.
유민수 교수는 서강대와 KAIST에서 각각 학사와 석사를 거쳐 미국 텍사스 오스틴 주립대에서 박사학위를 취득한 후 지난 2014년 인공지능 컴퓨팅 기술 기업인 미국 엔비디아(NVIDIA) 본사에 입사했다. 엔비디아에 입사한 이후 줄곧 인공지능 컴퓨팅 가속을 위한 다양한 하드웨어 및 소프트웨어 시스템 연구를 주도했으며 지난 2018년부터 우리 대학 전기및전자공학부 교수로 재직 중이다.
전기및전자공학부 권영은 박사과정이 제1 저자, 이윤재 석사과정이 제2 저자로 참여한 이번 연구 결과는 세계 최초의 추천시스템 학습용 가속기 시스템 개발 성과라는 학술 가치를 인정받아 컴퓨터 시스템 구조 분야 최우수 국제 학술대회인 IEEE International Symposium on High-Performance Computer Architecture(HPCA)에서 `Tensor Casting: Co-Designing Algorithm-Architecture for Personalized Recommendation Training' 이라는 논문 제목으로 내년 2월에 발표된다.
2020.11.16 조회수 32724