[Chatbot] - Recipes for building an open-domain chatbot / 살펴보기 - 1

2020년 4월 30일 , Recipes for building an open-domain chatbot의 논문이 arxiv에 나왔습니다. : ) 

arxiv.org/abs/2004.13637

Recipes for building an open-domain chatbot

무슨 내용을 다루었는지 한번 살펴보도록 하겠습니다.

 

Abstract

 오픈-도메인 챗봇을 제작하는 것은 Machine learning (ML)에서 어려운 영역입니다. 이전에는 매개 변수나 데이터 크기를 통해 모델을 확장시켜 결과를 개선시켰습니다. 하지만 고성능 챗봇에서는 다른 요소가 중요하다는 것을 알게 되었습니다. 좋은 대화가 되기 위해서는 대화를 이끌고, 경청하며, 일관된 상태를 유지하는 등 다양한 기술이 필요합니다. 

 큰 모델은 적절한 데이터가 주어진다면 학습 할 수 있으며 , 이러한 모델을 공개적으로 사용하도록 하였습니다. Human evaluations에 따르면 이 모델이 참여성과 인간성 측정에서 더욱 뛰어남을 보여주었습니다. 그리고 실패한 사례를 분석하여 한계에 대해 이야기하였습니다. 

---

 논문에서는 챗봇에서 대화의 질에 대해 집중하였습니다. 단순한 반응보다는 탄력적으로 반응하여, 사용자가 더욱 자연스럽게 이용하도록 ML 모델을 제작하였습니다. 

---

Introduction

 human evaluations에서 효과적인 오픈-도메인 챗봇 제작 방법을 제공합니다. NLP 모델과 대화형 agents 말뭉치에 대한 사전 교육이 중요하는 것을 보여줬으며, 연구를 통해 모델 확장외에 2가지 중요한 사항을 알게 되었습니다.

---

 1.  Blending Skills

 모델이 성격, 참여도, 지식 , 공감등 Blended skill Talk(BST) 설정을 통해 더욱 좋은 방향을 선택합니다. BST를 사용하는 작은 모델은 사용하지 않은 큰 모델과 일치하거나 더 좋은 성능을 보입니다. BST는 호감이 가는 특성을 강요하지만, 불편한 특성은 최소화 하는 것을 보여줍니다.

2. Generation Strategies

챗봇의 발화 길이은 사람의 품질적 판단에 영향을 줍니다. 너무 짧거나 지루하면 관심이 부족해보이며, 너무 길면 말을 안듣는다고 생각합니다. 

---

 모델의 성능은 주제, 전체 대화 길이, 평가자에게 제공되는 것에 크게 영향을 받습니다. 모델 출시를 통해 모델에 대한 가능성을 직접 보여주는 것이 가장 신뢰성이 있다고 생각합니다. 그래서 Human evaluation에서 Meena(Adiwardana et al., 2020)를 능기하는 모델을 제작하였습니다.

 챗봇의 성능은 아주 훌륭합니다. 아직 오픈-도메인 대화 문제를 해결하는데 가까워 졌다고 생각하지는 않습니다. 계속적으로 모델의 한계에 대해 논의하고 시도하고 있습니다. 문제점을 해결하기 위해 가능성이 없는 훈련과 검색과 수정 메커니즘을 보여주고 있습니다.

---

 facebook에서는 모델 확장과 2가지 중요 사항을 신경써서 모델을 제작하였습니다. 상황에 대한 판단을 통해 대화를 이끌어 내고, 완벽하지는 않지만 부족한 부분을 보여줌으로 더욱 발전 가능성을 바라보고 있습니다.