%EC%8B%AC%EC%B8%B5%ED%95%99%EC%8A%B5
-
대형언어모델로 42% 향상된 추천 기술 연구 개발
최근 소셜 미디어, 전자 상거래 플랫폼 등에서 소비자의 만족도를 높이는 다양한 추천서비스를 제공하고 있다. 그 중에서도 상품의 제목 및 설명과 같은 텍스트를 주입하여 상품 추천을 제공하는 대형언어모델(Large Language Model, LLM) 기반 기술이 각광을 받고 있다. 한국 연구진이 이런 대형언어모델 기반 추천 기술의 기존 한계를 극복하고 빠르고 최상의 추천을 해주는 시스템을 개발하여 화제다.
우리 대학 산업및시스템공학과 박찬영 교수 연구팀이 네이버와 공동연구를 통해 협업 필터링(Collaborative filtering) 기반 추천 모델이 학습한 사용자의 선호에 대한 정보를 추출하고 이를 상품의 텍스트와 함께 대형언어모델에 주입해 상품 추천의 높은 정확도를 달성할 수 있는 새로운 대형언어모델 기반 추천시스템 기술을 개발했다고 17일 밝혔다.
이번 연구는 기존 연구에 비해 학습 속도에서 253% 향상, 추론 속도에서 171% 향상, 상품 추천에서 평균 12%의 성능 향상을 이뤄냈다. 특히, 사용자의 소비 이력이 제한된 퓨샷(Few-shot) 상품* 추천에서 평균 20%의 성능 향상, 다중-도메인(Cross-domain) 상품 추천**에서 42%의 성능 향상을 이뤄냈다.
*퓨샷 상품: 사용자의 소비 이력이 풍부하지 않은 상품.
**다중-도메인 상품 추천: 타 도메인에서 학습된 모델을 활용하여 추가학습없이 현재 도메인에서 추천을 수행. 예를 들어, 의류 도메인에 추천 모델을 학습한 뒤, 도서 도메인에서 추천을 수행하는 상황을 일컫는다.
기존 대형언어모델을 활용한 추천 기술들은 사용자가 소비한 상품 이름들을 단순히 텍스트 형태로 나열해 대형언어모델에 주입하는 방식으로 추천을 진행했다. 예를 들어 ‘사용자가 영화 극한직업, 범죄도시1, 범죄도시2를 보았을 때 다음으로 시청할 영화는 무엇인가?’라고 대형언어모델에 질문하는 방식이었다.
이에 반해, 연구팀이 착안한 점은 상품 제목 및 설명과 같은 텍스트뿐 아니라 협업 필터링 지식, 즉, 사용자와 비슷한 상품을 소비한 다른 사용자들에 대한 정보가 정확한 상품 추천에 중요한 역할을 한다는 점이었다. 하지만, 이러한 정보를 단순히 텍스트화하기에는 한계가 존재한다. 이에 따라, 연구팀은 미리 학습된 협업 필터링 기반 추천 모델로부터 사용자의 선호에 대한 정보를 추출하고 이를 대형언어모델이 이해할 수 있도록 변환하는 경량화된 신경망을 도입했다.
연구팀이 개발한 기술의 특징으로는 대형언어모델의 추가적인 학습이 필요하지 않다는 점이다. 기존 연구들은 상품 추천을 목적으로 학습되지 않은 대형언어모델이 상품 추천이 가능하게 하도록 대형언어모델을 파인튜닝(Fine-tuning)* 하는 방법을 사용했다. 하지만, 이는 학습과 추론에 드는 시간을 급격히 증가시키므로 실제 서비스에서 대형언어모델을 추천에 활용하는 것에 큰 걸림돌이 된다. 이에 반해, 연구팀은 대형언어모델의 직접적인 학습 대신 경량화된 신경망의 학습을 통해 대형언어모델이 사용자의 선호를 이해할 수 있도록 했고, 이에 따라 기존 연구보다 빠른 학습 및 추론 속도를 달성했다.
*파인튜닝: 사전 학습된 대규모 언어모델을 특정 작업이나 데이터셋에 맞게 최적화하는 과정.
연구팀을 지도한 박찬영 교수는 “제안한 기술은 대형언어모델을 추천 문제에 해결하려는 기존 연구들이 간과한 사용자-상품 상호작용 정보를 전통적인 협업 필터링 모델에서 추출해 대형언어모델에 전달하는 새로운 방법으로 이는 대화형 추천 시스템이나 개인화 상품 정보 생성 등 다양한 고도화된 추천 서비스를 등장시킬 수 있을 것이며, 추천 도메인에 국한되지 않고 이미지, 텍스트, 사용자-상품 상호작용 정보를 모두 사용하는 진정한 멀티모달 추천 방법론으로 나아갈 수 있을 것”이라고 말했다.
우리 대학 산업및시스템공학과 김세인 박사과정 학생과 전산학부 강홍석 학사과정(졸) 학생이 공동 제1 저자, 네이버의 김동현 박사, 양민철 박사가 공동 저자, KAIST 산업및시스템공학과의 박찬영 교수가 교신저자로 참여한 이번 연구는 데이터마이닝 최고권위 국제학술대회인 ‘국제 데이터 마이닝 학회 ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)’에서 올 8월 발표할 예정이다. (논문명: Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System).
한편 이번 연구는 네이버 및 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행됐다. (NRF-2022M3J6A1063021, RS-2024-00335098)
2024.07.17 조회수 2519 -
인공지능 심층 학습(딥러닝) 서비스 구축 비용 최소화 가능한 데이터 정제 기술 개발
최근 다양한 분야에서 인공지능 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서 인공지능은 심층신경망을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 (예를 들어, 고양이 사진에 `고양이'라고 정답을 적어줌), 이 과정은 일반적으로 수작업으로 진행되므로 엄청난 노동력과 시간적 비용이 소요된다. 따라서 훈련 데이터 구축 비용을 최소화하는 방법 개발이 요구되고 있다.
우리 대학 전산학부 이재길 교수 연구팀이 심층 학습 훈련 데이터 구축 비용을 최소화할 수 있는 새로운 데이터 동시 정제 및 선택 기술을 개발했다고 12일 밝혔다.
일반적으로 심층 학습용 훈련 데이터 구축 과정은 수집, 정제, 선택 및 레이블링 단계로 이뤄진다. 수집 단계에서는 웹, 카메라, 센서 등으로부터 대용량의 데이터가 정제되지 않은 채로 수집된다. 따라서 수집된 데이터에는 목표 서비스와 관련이 없어서 주어진 레이블에 해당하지 않는 분포 외(out-of-distribution) 데이터가 포함된다 (예를 들어, 동물 사진을 수집할 때 재규어 `자동차'가 포함됨). 이러한 분포 외 데이터는 데이터 정제 단계에서 정제돼야 한다. 모든 정제된 데이터에 정답지를 만들기 위해서는 막대한 비용이 소모되는데, 이를 최소화하기 위해 심층 학습 성능 향상에 가장 도움이 되는 훈련 데이터를 먼저 선택해 레이블링하는 능동 학습(active learning)이 큰 주목을 받고 있다. 그러나 정제와 레이블링을 별도로 진행하는 것은 데이터 검사 측면에서 중복적인 비용을 초래한다. 또한 아직 정제되지 않고 남아 있는 분포 외 데이터가 레이블링 단계에서 선택된다면 레이블링 노력을 낭비할 수 있다.
이재길 교수팀이 개발한 기술은 훈련 데이터 구축 단계에서 데이터의 정제 및 선택을 동시에 수행해 심층 학습용 훈련 데이터 구축 비용을 최소화할 수 있도록 해준다.
우리 대학 데이터사이언스대학원에 재학 중인 박동민 박사과정 학생이 제1 저자, 신유주 박사과정, 이영준 박사과정 학생이 제2, 제4 저자로 각각 참여한 이번 연구는 최고권위 국제학술대회 `신경정보처리시스템학회(NeurIPS) 2022'에서 올 12월 발표될 예정이다. (논문명 : Meta-Query-Net: Resolving Purity-Informativeness Dilemma in Open-set Active Learning)
데이터의 정제 및 선택을 동시에 고려하기 위해서 구체적으로 가장 분포 외 데이터가 아닐 것 같은 데이터 중에서 가장 심층 학습 성능 향상에 도움이 될 데이터를 선택한다. 즉, 주어진 훈련 데이터 구축 비용 내에서 최고의 효과를 내도록 데이터의 순도(purity) 지표와 정보도(informativeness) 지표의 최적 균형(trade-off)을 찾는다. 순도와 정보도는 일반적으로 서로 상충하므로 최적 균형을 찾는 것이 간단하지 않다. 이 교수팀은 이러한 최적 균형이 정제 전 데이터의 분포 외 데이터 비율과 현재 심층신경망 훈련 정도에 따라 달라진다는 점을 발견했다.
이 교수팀은 이러한 최적 균형을 찾아내기 위해 추가적인 작은 신경망 모델을 도입했다. 연구팀은 추가된 모델을 훈련하기 위해 능동 학습에서 여러 단계에 걸쳐 데이터를 선별하는 과정을 활용했다. 즉, 새롭게 선택돼 레이블링 된 데이터를 순도-정보도 최적 균형을 찾기 위한 훈련 데이터로 활용했고, 레이블이 추가될 때마다 최적 균형을 갱신했다. 이러한 방법은 목표 심층신경망의 성능 향상을 위해 추가적인 상위 레벨의 신경망을 사용하였다는 점에서 메타학습(meta-learning)의 일종이라 볼 수 있다.
연구팀은 이 메타학습 방법론을 `메타 질의 네트워크'라고 이름 붙이고 이미지 분류 문제에 대해 다양한 데이터와 광범위한 분포 외 데이터 비율에 걸쳐 방법론을 검증했다. 그 결과, 기존 최신 방법론과 비교했을 때 최대 20% 향상된 최종 예측 정확도를 향상했고, 모든 범위의 분포 외 데이터 비율에서 일관되게 최고 성능을 보였다. 또한, `메타 질의 네트워크'의 최적 균형 분석을 통해, 분포 외 데이터의 비율이 낮고 현재 심층신경망의 성능이 높을수록 정보도에 높은 가중치를 둬야 함을 연구팀은 밝혀냈다.
제1 저자인 박동민 박사과정 학생은 "이번 기술은 실세계 능동 학습에서의 순도-정보도 딜레마를 발견하고 해결한 획기적인 방법ˮ 이라면서 "다양한 데이터 분포 상황에서의 강건성이 검증됐기 때문에, 실생활의 기계 학습 문제에 폭넓게 적용될 수 있어 전반적인 심층 학습의 훈련 데이터 준비 비용 절감에 기여할 것ˮ 이라고 밝혔다.
연구팀을 지도한 이재길 교수도 "이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다ˮ고 말했다.
한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(2020-0-00862, DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다.
2022.10.12 조회수 6707 -
소량의 데이터로 딥러닝 정확도 향상기술 발표
최근 다양한 분야에서 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서는 심층 학습 모델을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 (예를 들어, 낙타 사진에 `낙타'라고 정답을 적어줌), 이 과정은 일반적으로 수작업으로 진행되므로 엄청난 노동력과 시간이 소요된다. 따라서 훈련 데이터가 충분하지 않은 상황을 효과적으로 타개하는 방법이 요구되고 있다.
우리 대학 전산학부 이재길 교수 연구팀이 적은 양의 훈련 데이터가 존재할 때도 높은 예측 정확도를 달성할 수 있는 새로운 모델 훈련 기술을 개발했다고 27일 밝혔다.
심층 학습 모델의 훈련은 주어진 훈련 데이터에서 레이블과 관련성이 높은 특성을 찾아내는 과정으로 볼 수 있다. 예를 들어, `낙타'의 주요 특성이 등에 있는 `혹'이라는 것을 알아내는 것이다. 그런데 훈련 데이터가 불충분할 경우 바람직하지 않은 특성까지도 같이 추출될 수 있는 문제가 발생한다. 예를 들어, 낙타 사진의 배경으로 종종 사막이 등장하기에 낙타에 대한 특성으로 `사막'이 추출되는 것도 가능하다. 사막은 낙타의 고유한 특성이 아닐뿐더러, 이러한 바람직하지 않은 특성으로 인해 사막이 아닌 곳(예: 동물원)에 있는 낙타는 인식하지 못할 수 있다.
이 교수팀이 개발한 기술은 심층 학습 모델의 훈련에서 바람직하지 않은 특성을 억제해 충분하지 않은 훈련 데이터를 가지고도 높은 예측 정확도를 달성할 수 있게 해준다.
우리 대학 지식서비스공학대학원에 재학 중인 박동민 박사과정 학생이 제1 저자, 송환준 박사, 김민석 박사과정 학생이 제2, 제3 저자로 각각 참여한 이번 연구는 최고권위 국제학술대회 `신경정보처리시스템학회(NeurIPS) 2021'에서 올 12월 발표될 예정이다. (논문명 : Task-Agnostic Undesirable Feature Deactivation Using Out-of-Distribution Data)
바람직하지 않은 특성을 억제하기 위해서 분포 外(out-of-distribution) 데이터를 활용한다. 예를 들어, 낙타와 호랑이 사진의 분류를 위한 훈련 데이터에 대해 여우 사진은 분포 외 데이터가 된다. 이때 이 교수팀이 착안한 점은 훈련 데이터에 존재하는 바람직하지 않은 특성은 분포 외 데이터에도 존재할 수 있다는 점이다.
즉, 위의 예에서 여우 사진의 배경으로도 사막이 나올 수 있다. 따라서 다량의 분포 외 데이터를 추가로 활용해 여기에서 추출된 특성은 영(0) 벡터가 되도록 심층 학습 모델의 훈련 과정을 규제해 바람직하지 않은 특성의 효과를 억제한다. 훈련 과정을 규제한다는 측면에서 정규화 방법론의 일종이라 볼 수 있다. 분포 외 데이터는 쓸모없는 것이라 여겨지고 있었으나, 이번 기술에 의해 훈련 데이터 부족을 해소할 수 있는 유용한 보완재로 탈바꿈될 수 있다.
연구팀은 이 정규화 방법론을 `비선호(比選好) 특성 억제'라고 이름 붙이고 이미지 데이터 분석의 세 가지 주요 문제에 적용했다. 그 결과, 기존 최신 방법론과 비교했을 때, 이미지 분류 문제에서 최대 12% 예측 정확도를 향상했고, 객체 검출 문제에서 최대 3% 예측 정확도를 향상했으며, 객체 지역화 문제에서 최대 8% 예측 정확도를 향상했다.
제1 저자인 박동민 박사과정 학생은 "이번 기술은 훈련 데이터 부족 현상을 해결할 수 있는 새로운 방법ˮ 이라면서 "분류, 회귀 분석을 비롯한 다양한 기계 학습 문제에 폭넓게 적용될 수 있어, 심층 학습의 전반적인 성능 개선에 기여할 수 있다ˮ 고 밝혔다.
연구팀을 지도한 이재길 교수도 "이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다ˮ고 말했다.
한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(2020-0-00862, DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다. (끝).
2021.10.27 조회수 9931 -
딥러닝 통해 수소 발생 메커니즘 규명
우리 대학 생명화학공학과 정유성 교수 연구팀이 심층 학습(딥러닝)을 통해 고활성 백금 와이어의 수소 발생 메커니즘을 규명하는 데 성공했다고 29일 밝혔다.
백금은 전기차 등에 사용되는 연료 전지에 쓰이거나, 물의 전기 분해를 통해 수소를 얻는 데 사용되는 중요한 촉매이지만 가격이 비싸 기술 보급에 걸림돌이 되고 있다. 이를 해결하는 방법의 하나로 최근 백금을 톱니 와이어 모양으로 합성해 백금의 양을 10배 정도 절약하는 연구들이 발표돼 큰 파장을 불러일으켰지만, 아직 그 메커니즘이 규명되지 않았다.
정유성 교수 연구팀은 복잡한 촉매 표면의 성질을 빠르게 예측하는 딥러닝 방법들을 고안했는데, 이번에 이를 톱니 백금 와이어에 적용해 해당 촉매의 높은 수소 활성 메커니즘을 규명할 수 있었다.
연구팀이 규명한 톱니 백금 와이어에서의 수소 발생 메커니즘은 기존에 알려진 촉매 직관을 깨는 새로운 메커니즘인 것으로 밝혀졌다. 수소 발생은 물에서 양성자를 받아 수소를 흡착시키는 흡착반응과 흡착된 수소 원자들이 결합해 수소 분자가 형성되는 짝지음 반응의 2단계를 거쳐 일어나는데, 이 두 반응은 일반적으로 같은 반응 자리(reaction site)에서 일어난다.
하지만, 이번에 새롭게 발견된 메커니즘에 의하면, 톱니 백금 표면에서는 울퉁불퉁한 구조로 인해 흡착반응이 잘 일으키는 반응 자리와 짝지음 반응을 잘 일으키는 반응 자리가 따로 존재하고, 이 두 자리의 상승 작용으로 인해 촉매 활성이 400% 이상 증가한다. 마치 분업화를 통해 일의 효율을 높이는 것과 같은 개념이 분자 세계에서도 존재하는 것이다.
정유성 교수는 "분자 수준에서 분업을 통해 전체 반응 효율을 높이는 개념들이 기존에도 있긴 했지만, 단일성분인 백금에서 구조에 따른 분업 현상이 규명된 것은 이번이 처음ˮ이라면서, "단일성분 촉매의 구조를 변화시킴으로써 촉매의 효율을 높일 수 있는 새로운 관점과 설계원리를 제시했다는 점에서 의미가 있다ˮ고 했다.
우리 대학 구근호 박사후연구원이 제1 저자로 참여하고, 톱니 백금 와이어를 합성한 캘리포니아대학교 로스엔젤리스(UCLA)의 듀안 교수 연구팀과 캘리포니아 공과대학교(Caltech)의 고다드 교수 연구팀이 함께 참여한 이번 연구성과는 미국화학회가 발행하는 국제학술지 미국화학회지(Journal of the American Chemical Society) 온라인 3월 17일 字에 실렸다. (논문명: Autobifunctional Mechanism of Jagged Pt Nanowires for Hydrogen Evolution Kinetics via End-to-End Simulation)
이번 연구는 과학기술정보통신부 산하 한국연구재단의 중견연구자 기초연구사업과 PEMWE용 저가의 고성능 수소 발생반응 촉매 개발 사업의 지원을 받아 수행됐고, KISTI의 슈퍼컴퓨터 자원이 활용됐다.
2021.04.29 조회수 26906 -
정확성이 획기적으로 향상된 코로나19 영상 진단 기술 개발
우리 대학 바이오및뇌공학과 예종철 교수 연구팀이 흉부 단순 방사선 촬영 영상으로 신종 코로나바이러스 감염증(이하 코로나19) 진단의 정확성을 획기적으로 개선한 인공지능(AI) 기술을 개발했다.
예 교수 연구팀이 개발한 인공지능 기술을 사용해 코로나19 감염 여부를 진단한 결과, 영상 판독 전문가의 69%보다 17%가 향상된 86%이상의 우수한 정확성을 보였다고 KAIST 관계자는 설명했다.
이 기술을 세계적으로 대유행하는 코로나19 선별 진료(Triage)체계에 도입하면 상시 신속한 진단이 가능할 뿐만 아니라 한정된 의료 자원의 효율적인 사용에 큰 도움을 줄 것으로 기대된다.
오유진 박사과정과 박상준 박사과정이 공동 1저자로 참여한 이 연구 결과는 국제 학술지 `아이트리플이 트랜잭션 온 메디컬 이미징(IEEE transactions on medical imaging)'의 `영상기반 코로나19 진단 인공지능기술' 특집호 5월 8일 字 온라인판에 게재됐다. (논문명 : Deep Learning COVID-19 Features on CXR using Limited Training Data Sets)
현재 전 세계적으로 확진자 500만 명을 넘긴 코로나19 진단검사에는 통상 역전사 중합 효소 연쇄 반응(RT-PCR, Reverse Transcription Polymerase Chain Reaction)을 이용한 장비가 사용된다. RT-PCR 검사의 정확성은 90% 이상으로 알려져 있으나, 검사 결과가 나오기까지는 많은 시간이 걸리며 모든 환자에게 시행하기에 비용이 많이 든다는 단점이 있다.
컴퓨터 단층촬영(CT, Computed Tomography)을 이용한 검사도 비교적 높은 정확성을 보이지만 일반적인 X선 단순촬영 검사에 비해 많은 시간이 소요되고 바이러스에 의한 장비의 오염 가능성 때문에 선별 진료에 사용되기 어렵다.
흉부 단순 방사선 촬영(CXR, Chest X-ray)은 여러 폐 질환에서 표준 선별 검사로 활용되고 있지만 코로나19에는 RT-PCR와 CT 검사에 비해 정확성이 현저하게 떨어진다. 그러나, 최근 팬데믹으로 세계 각국에서 확진자 수가 급증함에 따라 비용이 적게 들어가고 검사방법이 용이한 CXR 검사를 정확성을 높여 활용하자는 요구가 증가하고 있다.
그동안 심층 학습(Deep Learning) 기법을 적용해 CXR 영상을 통해 코로나19를 진단하는 여러 연구사례가 보고되고 있지만 진단 정확성을 높이기 위해서는 많은 양의 데이터 확보가 필수적이며 현재와 같은 비상 상황에서는 일관되게 정제된 대량의 데이터를 수집하기가 극히 어렵다.
예 교수 연구팀은 자체 개발한 전처리(Preprocessing)와 국소 패치 기반 방식(Local Patch-based Approach)을 통해 이런 문제점을 해결했다. 적은 데이터 세트에서 발생할 수 있는 영상 간 이질성(Heterogeneity)을 일관된 전처리 과정으로 정규화한 뒤, 국소 패치 기반 방식으로 하나의 영상에서 다양한 패치 영상들을 얻어냄으로써 이미지의 다양성을 확보했다.
또 국소 패치 기반 방식의 장점을 활용한 새로운 인공지능 기술인 `확률적 특징 지도 시각화(Probabilistic Saliency Map Visualization)' 방식을 활용해 CXR 영상에서 코로나19 진단에 중요한 부분을 고화질로 강조해주는 특징 지도를 만들었는데 이 지도가 진단 영상학적 특징과 일치하는 것을 확인했다.
예종철 교수는 "인공지능 알고리즘 기술을 환자의 선별 진료에 활용하면 코로나19 감염 여부를 상시 신속하게 진단할 수 있고 이를 통해 가능성이 낮은 환자를 배제함으로써 한정된 의료 자원을 보다 우선순위가 높은 대상에게 효율적으로 배분할 수 있게 해줄 것ˮ 이라고 말했다.
한편, 이 연구는 한국연구재단 중견연구자지원사업의 지원을 받아 수행됐다.
2020.05.25 조회수 14633