-
대형언어모델로 42% 향상된 추천 기술 연구 개발
최근 소셜 미디어, 전자 상거래 플랫폼 등에서 소비자의 만족도를 높이는 다양한 추천서비스를 제공하고 있다. 그 중에서도 상품의 제목 및 설명과 같은 텍스트를 주입하여 상품 추천을 제공하는 대형언어모델(Large Language Model, LLM) 기반 기술이 각광을 받고 있다. 한국 연구진이 이런 대형언어모델 기반 추천 기술의 기존 한계를 극복하고 빠르고 최상의 추천을 해주는 시스템을 개발하여 화제다.
우리 대학 산업및시스템공학과 박찬영 교수 연구팀이 네이버와 공동연구를 통해 협업 필터링(Collaborative filtering) 기반 추천 모델이 학습한 사용자의 선호에 대한 정보를 추출하고 이를 상품의 텍스트와 함께 대형언어모델에 주입해 상품 추천의 높은 정확도를 달성할 수 있는 새로운 대형언어모델 기반 추천시스템 기술을 개발했다고 17일 밝혔다.
이번 연구는 기존 연구에 비해 학습 속도에서 253% 향상, 추론 속도에서 171% 향상, 상품 추천에서 평균 12%의 성능 향상을 이뤄냈다. 특히, 사용자의 소비 이력이 제한된 퓨샷(Few-shot) 상품* 추천에서 평균 20%의 성능 향상, 다중-도메인(Cross-domain) 상품 추천**에서 42%의 성능 향상을 이뤄냈다.
*퓨샷 상품: 사용자의 소비 이력이 풍부하지 않은 상품.
**다중-도메인 상품 추천: 타 도메인에서 학습된 모델을 활용하여 추가학습없이 현재 도메인에서 추천을 수행. 예를 들어, 의류 도메인에 추천 모델을 학습한 뒤, 도서 도메인에서 추천을 수행하는 상황을 일컫는다.
기존 대형언어모델을 활용한 추천 기술들은 사용자가 소비한 상품 이름들을 단순히 텍스트 형태로 나열해 대형언어모델에 주입하는 방식으로 추천을 진행했다. 예를 들어 ‘사용자가 영화 극한직업, 범죄도시1, 범죄도시2를 보았을 때 다음으로 시청할 영화는 무엇인가?’라고 대형언어모델에 질문하는 방식이었다.
이에 반해, 연구팀이 착안한 점은 상품 제목 및 설명과 같은 텍스트뿐 아니라 협업 필터링 지식, 즉, 사용자와 비슷한 상품을 소비한 다른 사용자들에 대한 정보가 정확한 상품 추천에 중요한 역할을 한다는 점이었다. 하지만, 이러한 정보를 단순히 텍스트화하기에는 한계가 존재한다. 이에 따라, 연구팀은 미리 학습된 협업 필터링 기반 추천 모델로부터 사용자의 선호에 대한 정보를 추출하고 이를 대형언어모델이 이해할 수 있도록 변환하는 경량화된 신경망을 도입했다.
연구팀이 개발한 기술의 특징으로는 대형언어모델의 추가적인 학습이 필요하지 않다는 점이다. 기존 연구들은 상품 추천을 목적으로 학습되지 않은 대형언어모델이 상품 추천이 가능하게 하도록 대형언어모델을 파인튜닝(Fine-tuning)* 하는 방법을 사용했다. 하지만, 이는 학습과 추론에 드는 시간을 급격히 증가시키므로 실제 서비스에서 대형언어모델을 추천에 활용하는 것에 큰 걸림돌이 된다. 이에 반해, 연구팀은 대형언어모델의 직접적인 학습 대신 경량화된 신경망의 학습을 통해 대형언어모델이 사용자의 선호를 이해할 수 있도록 했고, 이에 따라 기존 연구보다 빠른 학습 및 추론 속도를 달성했다.
*파인튜닝: 사전 학습된 대규모 언어모델을 특정 작업이나 데이터셋에 맞게 최적화하는 과정.
연구팀을 지도한 박찬영 교수는 “제안한 기술은 대형언어모델을 추천 문제에 해결하려는 기존 연구들이 간과한 사용자-상품 상호작용 정보를 전통적인 협업 필터링 모델에서 추출해 대형언어모델에 전달하는 새로운 방법으로 이는 대화형 추천 시스템이나 개인화 상품 정보 생성 등 다양한 고도화된 추천 서비스를 등장시킬 수 있을 것이며, 추천 도메인에 국한되지 않고 이미지, 텍스트, 사용자-상품 상호작용 정보를 모두 사용하는 진정한 멀티모달 추천 방법론으로 나아갈 수 있을 것”이라고 말했다.
우리 대학 산업및시스템공학과 김세인 박사과정 학생과 전산학부 강홍석 학사과정(졸) 학생이 공동 제1 저자, 네이버의 김동현 박사, 양민철 박사가 공동 저자, KAIST 산업및시스템공학과의 박찬영 교수가 교신저자로 참여한 이번 연구는 데이터마이닝 최고권위 국제학술대회인 ‘국제 데이터 마이닝 학회 ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)’에서 올 8월 발표할 예정이다. (논문명: Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System).
한편 이번 연구는 네이버 및 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행됐다. (NRF-2022M3J6A1063021, RS-2024-00335098)
2024.07.17
조회수 2567
-
원심력을 이용한 미세 섬유 대량생산 공정 개발
우리 대학 생명화학공학과 김도현 교수 연구팀이 원심력을 이용한 새로운 마이크로 및 나노 섬유 대량생산 공정을 개발했다고 23일 밝혔다.
김도현 교수 연구팀은 기존의 원심방사 공정을 발전시켜 방사 디스크를 여러 층으로 세분화한 멀티 원심방사 시스템을 고안해 다양한 고분자 마이크로 및 나노 섬유의 생산에 성공했다. 이 기술은 섬유의 대량생산뿐만 아니라, 다양한 종류의 섬유가 하나의 필터에 함유된 복합 필터 제조도 가능하게 해 폭넓은 분야에 응용될 것으로 기대된다.
생명화학공학과 곽병은 석박사통합과정, 유효정 박사과정, 이응준 석박사통합과정이 각 제1, 제2, 제3 저자로 참여한 이번 연구는 국제 학술지 `에이씨에스 매크로 레터스(ACS Macro Letters)' 2021년 3월 10권 3호에 표지논문으로 선정됐다. (논문명 : Large-Scale Centrifugal Multispinning Production of Polymer Micro- and Nanofibers for Mask Filter Application with a Potential of Cospinning Mixed Multicomponent Fibers)
고분자 마이크로 및 나노 섬유는 두께가 마이크로미터(μm) 혹은 나노미터(nm) 수준인 섬유로, 머리카락 두께와 비슷하거나 이의 1/1000에서 1/10 수준의 두께를 가진 섬유를 말한다. 최근 코로나바이러스 및 미세먼지 이슈로 마스크의 수요가 점차 증가하면서 동시에 그 필터 재료로 사용되는 고분자 섬유의 수요도 점차 늘어나는 추세다.
특히 매우 가는 두께를 가진 고분자 나노 섬유 기반의 마스크 필터는 정전기가 부여되지 않은 상태에서도 기계적 여과를 통해 미세먼지와 코로나 바이러스를 90% 이상 차단할 수 있기에 마스크 필터 분야에서 중요한 소재로 떠오르고 있다.
정전기 기반의 마스크 필터는 날숨에 포함된 습기로 인해 사용 시간이 지날수록 미세먼지의 포집 효율이 감소한다. 반면 나노 필터 마스크는 시간에 따른 효율 저하가 거의 관찰되지 않는다. 이미 유럽 등 국가에서는 정전 기력에 의한 포집 효율을 배제한 마스크 성능을 평가하고 있다. 따라서 기계적 여과로 높은 포집 효율을 달성할 수 있는 나노 섬유 기반 필터의 제조는 매우 중요한 과제다.
기존의 나노 섬유 제조는 고전압을 인가해 두께가 가는 섬유를 제조하는 전기방사(electrospinning) 공정을 사용했다. 그러나 전기방사 공정은 수십 킬로볼트(kV)의 고전압을 사용하기 때문에 공정의 안전성이 낮고 설비의 규모 증가가 어려운 단점이 있다.
또 공정 자체가 대량생산에 불리하게 설계돼 있어 실험실 단위의 제조에서는 섬유의 생산 속도가 시간당 0.01~1그램(g) 정도에 불과하다. 이렇게 느린 섬유 생산 속도의 한계를 극복하기 위해 고안된 다중 노즐 전기방사(multi-nozzle electrospinning) 및 노즐리스 전기방사(nozzleless electrospinning) 공정 또한 노즐 간 전기장 간섭으로 인한 생산 효율 저하 및 50 킬로볼트(kV) 이상의 고전압이 필요하다는 문제가 상존한다.
연구팀은 이러한 전기방사 공정의 한계를 극복하기 위해 원심방사에 주목했다. 원심방사는 방사 디스크의 회전을 통해서 섬유를 제조하는 공정으로 솜사탕 기계 등에서 많이 이용되고 있다.
그러나 기존의 원심방사 장치도 하나의 방사 디스크를 이용했기 때문에 크기를 증가시켜도 섬유 생산 속도가 기존 전기방사 공정보다 그리 빠르지는 않았다. 이에 따라 연구팀은 하나의 방사 디스크가 여러 개의 층을 가진 멀티 원심방사 디스크를 고안했고 이를 통해 섬유의 대량생산 가능성을 보였다.
연구팀은 3개의 층을 가진 멀티 원심방사 디스크를 제작했고, 디스크의 층수가 증가할수록 섬유의 생산 속도가 비례하며 증가하는 것을 확인했다. 이는 멀티 원심방사 시스템에서는 노즐 간 간섭으로 인한 생산 효율 저하가 일어나지 않음을 의미한다.
연구팀은 새롭게 고안된 이 공정을 통해 실험실 규모 기준, 머리카락 1/100의 평균 두께를 가지는 섬유의 생산 속도가 시간당 8~25그램(g)으로 증가하는 것을 보였다. 이는 기존 전기방사 공정보다 약 300배 더 빠른 속도이다. 또한, 나노 섬유 25그램(g)은 KF94 마스크 필터 20~30개에 해당하는 양이며, 적은 양처럼 보이지만 실험실 규모에서는 같은 시간 대비 아주 많은 생산량이다.
또한 연구팀은 대량생산된 나노 섬유를 이용해 마스크 필터를 제조했고, 이렇게 제조된 마스크 필터는 사용된 섬유의 양에 따라 상용 마스크(KF80 및 KF94)에 준하는 포집 효율과 차압을 가지는 것을 확인했다. 뿐만 아니라 제조된 마스크 필터는 비말 차단에도 매우 우수한 성능을 보였다.
제1 저자 곽병은 석박사통합과정은 "원심방사는 전기방사보다 비용 측면이나 대량생산에 있어 뚜렷한 장점이 있음에도 많이 연구되고 있지 않은 공정이다ˮ며, "이번 연구에서 고안된 멀티 원심방사 시스템을 산업적 규모로 증대시키면 나노 필터의 단가를 획기적으로 낮출 수 있을 것으로 기대된다ˮ 라고 말했다.
한편 이번 연구는 KAIST에서 지원하는 2020년도 글로벌 특이점 연구사업으로 수행됐다.
2021.03.24
조회수 94555
-
인공지능으로 3차원 고해상도 나노입자 영상화 기술 개발
우리 대학 바이오및뇌공학과 예종철 교수 연구팀이 삼성전자 종합기술원과 공동연구를 통해 나노입자의 3차원 형상과 조성 분포의 복원 성능을 획기적으로 향상한 인공지능 기술을 개발했다고 16일 밝혔다. 공동연구팀은 에너지 분산형 X선 분광법(EDX)을 주사 투과전자현미경(STEM)과 결합한 시스템을 활용했다.
이번 연구를 통해 나노입자를 형성하고 있는 물질의 형상과 조성 분포를 정확하게 재구성함으로써, 실제 상용 디스플레이를 구성하는 양자점(퀀텀닷)과 같은 반도체 입자의 정확한 분석에 도움을 줄 것으로 기대된다.
예종철 교수 연구팀의 한요섭 박사, 차은주 박사과정, 정형진 석사과정과 삼성종합기술원의 이은하 전문연구원팀의 장재덕, 이준호 전문연구원이 공동 제1 저자로 참여한 이번 연구 결과는 국제 학술지 `네이처 머신 인텔리전스(Nature Machine Intelligence)' 2월 8일 字 온라인판에 게재됐다. (논문명 : Deep learning STEM-EDX tomography of nanocrystals)
에너지 분산형 X선 분광법(이하 EDX)은 나노입자의 성분 분석에 주로 이용되며, X선과 반응한 물체의 성분에 따라 고유한 방출 스펙트럼을 보인다는 점에서 화학적인 분석이 가능하다. 퀀텀닷 및 배터리 등 다양한 나노 소재의 열화 메커니즘과 결함을 해석하기 위해 형상 및 조성 분포 분석이 가능한 이 분광법의 필요성과 중요도가 급증하고 있다.
그러나 EDX 측정 신호의 해상도를 향상하기 위해, 나노 소재를 오랜 시간 전자빔에 노출하면 소재의 영구적인 피해가 발생한다. 이로 인해 나노입자의 3차원 영상화를 위한 투사(projection) 데이터 획득 시간이 제한되며, 한 각도에서의 스캔 시간을 단축하거나 측정하는 각도를 줄이는 방식이 사용된다. 기존의 방식으로 획득된 투사 데이터를 이용해 3차원 영상을 복원할 시, 미량 존재하는 원자 신호의 측정이 불가능하거나 복원 영상의 정밀도와 해상도가 매우 낮다.
그러나 공동 연구팀이 자체 개발한 인공지능 기반의 커널 회귀(kernel regression)와 투사 데이터 향상(projection enhancement)은 정밀도와 해상도를 획기적으로 발전시켰다. 연구팀은 측정된 데이터의 분포를 네트워크가 스스로 학습하는 인공지능 기반의 커널 회귀를 통해 스캔 시간이 단축된 투사 데이터의 신호 대 잡음비(SNR)를 높인 데이터를 제공하는 네트워크를 개발했다. 그리고 개선된 고화질의 EDX 투사 데이터를 기반으로 기존의 방법으로는 불가능했던 적은 수의 투사 데이터로부터 더욱 정확한 3차원 복원 영상을 제공하는 데 성공했다.
연구팀이 개발한 알고리즘은 기존의 EDX 측정 신호 기반 3차원 재구성 기법과 비교해 나노입자를 형성하고 있는 원자의 형상과 경계를 뚜렷하게 구별했으며, 복원된 다양한 코어-쉘(core-shell) 구조의 퀀텀닷 3차원 영상이 샘플의 광학적 특성과 높은 상관관계를 나타내는 것이 확인됐다.
예종철 교수는 "연구에서 개발한 인공지능 기술을 통해 상용 디스플레이의 핵심 기반이 되는 퀀텀닷 및 반도체 소자의 양자 효율과 화학적 안정성을 더욱 정밀하게 분석할 수 있다ˮ고 말했다.
2021.02.16
조회수 81978