GeDi: Generative Discriminator Guided Sequence Generation

Posted on Sat, May 1, 2021 NLP 논문리뷰

TL;DR

기존 LM 생기는 이슈

컨트롤이 안된다! → Prompt를 다르게 넣어준다 = 예측 불가능한 결과

GeDI: Generative Discriminator

GeDI = Large LM에서 생성할 때 보다 안전하고 Controllable한 문장을 생성하도록 Guide하는 모델

Paper에서 다루는 Gedi:

-당연하게도- GeDI 쓰면 문장 생성의 Quality를 유지하면서도 generation control이 가능함

GeDI로 한 실험

GeDI 구조

추가적인 휴리스틱

GeDI training

일반적으로 Generative classifier보다 Discriminative classifier가 성능이 더 좋음

따라서 Generation model을 바로 사용하는 대신 CC-LM을 Classifier로 사용!

GeDI는 GPT-2 Medium(345M) 모델을 Finetune해서 사용

위 설정으로 학습한 GeDI를 이용해 GPT-2 XL(1.5B) 모델의 Generation을 guide

*결국 GeDI가 쓰는건 classification은 아니고 LM next token prob이긴 함

성능!

Inference Speed

Sentiment control

de-Toxicity

Topic control

Pros

Cons

결론

"괜찮아 보이는데... 아이디어도 좋고... 근데 확실히 빈칸은 많아보이고, 채우기도 어려워 보인다."

특히 Evaluation 측면에서 어려운 부분이 있는 듯 하다.

억지로 Biased 혹은 toxicity dataset으로 학습된 모델을 → 강제로 그런 말 못하게 만드는 방향은 어떨까?

ex) 질 낮은 커뮤니티글로 학습 → GeDI로 Detoxify → 샘플 몇만개 생성 후, BERT등 classifier로 Toxic % 측정해본다거나..