search

9️⃣Translation

번역 모델을 사용하여 여러 언어에 걸쳐 대화형 에이전트를 구축할 수 있습니다. 이는 두 가지 방법으로 수행할 수 있습니다.

  1. Translate the dataset to a new language

  • 의도(입력) 및 응답의 데이터 집합을 대상 언어로 번역할 수 있습니다.

  • 그런 다음 이 새로운 데이터 세트로 새로운 의도 분류 모델을 학습할 수 있습니다.

  • 이를 통해 대상 언어로 응답을 교정하고 챗봇의 출력을 더 잘 제어할 수 있습니다.

  1. Translate the input and output of the agent

  • 사용자 입력에 번역 모델을 사용하여 챗봇이 이를 처리할 수 있도록 할 수 있습니다.

  • 그런 다음 챗봇의 출력을 사용자의 언어로 번역할 수 있습니다.

  • 이 접근 방식은 챗봇이 이전에 정의되지 않은 응답을 생성하므로 신뢰성이 떨어질 수 있습니다.

hashtag
translation pipeline

'nllb-200-distilled-600M'arrow-up-right

from transformers import pipeline 
import torch
/home/kubwa/anaconda3/envs/pytorch/lib/python3.11/site-packages/tqdm/auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html
  from .autonotebook import tqdm as notebook_tqdm
translator = pipeline(task="translation",
                      model="facebook/nllb-200-distilled-600M",
                      torch_dtype=torch.bfloat16)

다른 언어를 선택하려면 페이지에서 다른 언어 코드를 찾을 수 있습니다: Languages in FLORES-200arrow-up-right

For example:

  • Afrikaans: afr_Latn

  • Chinese: zho_Hans

  • Egyptian Arabic: arz_Arab

  • French: fra_Latn

  • German: deu_Latn

  • Greek: ell_Grek

  • Hindi: hin_Deva

  • Indonesian: ind_Latn

  • Italian: ita_Latn

  • Japanese: jpn_Jpan

  • Korean: kor_Hang

  • Persian: pes_Arab

  • Portuguese: por_Latn

  • Russian: rus_Cyrl

  • Spanish: spa_Latn

  • Swahili: swh_Latn

  • Thai: tha_Thai

  • Turkish: tur_Latn

  • Vietnamese: vie_Latn

  • Zulu: zul_Latn

PreviousSummarizationNextText Generation

Last updated