Head vs breakz

facebook에서 새롭게 등장한 blender 사용방법을Colab에서 알아보겠습니다. 1. 준비 !git clone https://github.com/facebookresearch/ParlAI.git !pip install parlai %cd ParlAI/ 2. 실행 90M !python parlai/scripts/safe_interactive.py -t blended_skill_talk -mf zoo:blender/blender_90M/model 2.7B !python parlai/scripts/safe_interactive.py -t blended_skill_talk -mf zoo:blender/blender_3B/model 9.4B !python parlai/scripts/safe_interact..

training data 데이터셋은 모두 영어로 된 것을 사용하였습니다. Pre-training으로는 많은 연구에서 사용된 Reddit를 사용하였습니다. subreddits의 경우는 다양한 주제를 다루기 떄문에 오픈-도메인으로 학습하는데 큰 도움이 됩니다. 데이터는 heuristic rule를 통해 필터링을 하였습니다. 그리고 총 9개의 조건 중 하나라도 충족되면 댓글과 하위 댓글을 삭제 시켰습니다. 1. 저자가 봇 인 경우 2. 영어가 아닌 경우 3. 댓글이 제거/삭제 된 경우 4. 띄어쓰기를 제외한 2048개의 문자 일 경우 5. 128 BPE tokens 보다 길 경우 6. 5개 문자보다 짧은 경우 7. URL를 포함한 경우 8. 시작이 non-ASCII 문자인 경우 9. 깊이가 7보다 더한 경우...

2020년 4월 30일 , Recipes for building an open-domain chatbot의 논문이 arxiv에 나왔습니다. : ) arxiv.org/abs/2004.13637 Recipes for building an open-domain chatbot Building open-domain chatbots is a challenging area for machine learning research. While prior work has shown that scaling neural models in the number of parameters and the size of the data they are trained on gives improved results, we show that ..