[Data Processing] 번역 후 회귀를 통한 데이터 증강(Data Augmentation) 스크립트 작성

💖 번역 후 회귀 기법을 사용한 데이터 증강 스크립트

1.  Python에서 데이터 처리와 딥러닝 관련 라이브러리 Import

import pandas as pd
from glob import glob
import os
import numpy as np
import pandas as pd
from tqdm import tqdm, tqdm_notebook

import random
import torch
import torch.nn.functional as F

 

라이브러리	설명 & 용도
pandas	데이터 조작
glob	파일 검색
os	운영 체제와의 상호작용
numpy	수치 계산
tqdm	진행 상황 시각화
random	난수 생성
torch	파이토치 딥러닝 프레임워크

2. Papago 를 통한 KOR -> EN 번역_A) 필요한 각종 라이브러리 Import

from selenium import webdriver 
from selenium.webdriver import ActionChains
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import requests
import time
import requests
from bs4 import BeautifulSoup
import os, shutil
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

 

	라이브러리	용도
Selenium 라이브러리	webdriver	WebDriver를 사용하기 위한 라이브러리
	ActionChains	웹 페이지에서마우스 및 키보드 동작 수행을 위한 라이브러리
	Keys	키보드 특수키 사용을 위한 라이브러리
	By	웹 요소 탐색 방법을 제공하는 라이브러리
	Options	브라우저 커스터마이징을 위한 라이브러리
	WebDriverWait	특정 조건을 만족할 때까지 대기하기 위한 라이브러리

 

	라이브러리	용도
기타 라이브러리	BeautifulSoup	HTML & XML 문서를 파싱하고 검색하기 위한 라이브러리
	requests	웹 페이지에 HTTP 요청을 보내기 위한 라이브러리
	time	시간 지연을 위한 라이브러리
	os, shutil	파일 및 디렉터리 조작을 위한 라이브러리

3. Papago 를 통한 KOR -> EN 번역_B) WebDriver를 사용하여 Chrome 브라우저 제어 코드 작성

driver=webdriver.Chrome('chromedriver.exe')

4. Papago 를 통한 KOR -> EN 번역_C) 한국어 텍스트를 영어로 번역 후 결과 출력

#가상 브라우저 url 열기
translate_url = 'https://papago.naver.com/?sk=ko&tk=en' # sk=ko : Korean & tk=en : English
driver.get(translate_url)

time.sleep(2)

text_kor='''누구에게나 한번쯤 쏟아지던 여름비처럼
갑작스레 다가왔었던 사랑이 있겠죠
빗소리에 잠도 못 잘 만큼
그땐 니가 내겐 그랬죠
흙내음을 머금은 나의 감정이
쏟아내듯이 떨려오네요
자그마한 우산을 나누려고 다가오는가 봐
여름날의 기적일까요?
찬란하게 빛나던 시간이었다고
맑은 여름비처럼 고마웠었다고
한줄기 빗물처럼 너무 아름다웠던
투명한 우리들의 이야기'''

#id가 txtSource인 곳에 번역할 문장을 보낸다.
driver.find_element(By.ID,'txtSource').send_keys(text_kor) # Send_keys
driver

time.sleep(2)

#id가 txtTarget인 곳에서 text를 가져온다.
translated_EN = driver.find_element(By.ID,'txtTarget').text
print(translated_EN)

<< 번역 결과 >>    

5. 4번 과정을 통해 나온 영어 텍스트를 Papago를 사용하여 일본어로 번역

#가상 브라우저 url 열기
translate_url = 'https://papago.naver.com/?sk=en&tk=ja' # sk=en : English & tk=ja : Japan
driver.get(translate_url)

time.sleep(2)

#id가 txtSource인 곳에 번역할 문장을 보낸다.
driver.find_element(By.ID,'txtSource').send_keys(translated_EN) # Send_keys
driver

time.sleep(2)

#id가 txtTarget인 곳에서 text를 가져온다.
translated_JA = driver.find_element(By.ID,'txtTarget').text
print(translated_JA)

<< 번역 결과 >>    

6. 5번 과정을 통해  나온 일본어 텍스트를 Papago를 통해 한국어로 번역

#가상 브라우저 url 열기
translate_url = 'https://papago.naver.com/?sk=ja&tk=ko' # sk=en : English & tk=ja : Japan
driver.get(translate_url)

time.sleep(2)

#id가 txtSource인 곳에 번역할 문장을 보낸다.
driver.find_element(By.ID,'txtSource').send_keys(translated_JA) # Send_keys
driver

time.sleep(2)

#id가 txtTarget인 곳에서 text를 가져온다.
translated_final = driver.find_element(By.ID,'txtTarget').text
print(translated_final)

<< 번역 결과 >>    

7. 위 절차의 자동화를 위한 Back Translation 함수 구현

#함수 구현

def back_translation(input_text, input_type, trans_type):
    
    driver=webdriver.Chrome('chromedriver.exe')
    translate_url = 'https://papago.naver.com/?sk={0}&tk={1}'.format(input_type,trans_type)

    #가상 브라우저 url 열기
    driver.get(translate_url)
    time.sleep(1)    
    
    #id가 txtSource인 곳에 번역할 문장을 보낸다.
    driver.find_element(By.ID,'txtSource').send_keys(input_text) # Send_keys
    time.sleep(2)

    #id가 txtTarget인 곳에서 text를 가져온다.
    translated_contents= driver.find_element(By.ID,'txtTarget').text
    time.sleep(2) 
    
    driver.quit()
    
    return translated_contents

 

함수 Parameter
input_text	번역할 텍스트를 나타내는 문자열
input_type	번역할 텍스트의 언어 코드를 나타내는 문자열
trans_type	번역될 언어 코드를 나타내는 문자열

8. 입력된 텍스트를 "한국어 → 영어 → 일본어 → 한국어" 순서로 번역하는 기능을 수행하는 back_trans_final() 함수 구현

def back_trans_final(input_text): #번역할 text
    
    #kor>en
    text_en=back_translation(input_text,'ko','en')
    
    time.sleep(1)
    #en>ja
    text_ja=back_translation(text_en,'en','ja')
    
    time.sleep(1)
    #ja>kor
    text_final=back_translation(text_ja,'ja','ko')
    
    return text_final

9.  pandas 라이브러리를 이용하여 새로운 데이터프레임 생성

#함수가 잘 작동이 되는지 test
dfdf=pd.DataFrame(['안녕','건강하게 살기 위해서는 운동이 중요한 요소이다.'])
dfdf[0]

10. 생성한 데이터프레임의 첫 번째 열에 있는 값들에 back_trans_final() 함수를 적용한 후 결과 출력

dfdf[0]=dfdf[0].apply(back_trans_final)
dfdf[0]

 

---

++ 작성한 스크립트로 실제 보이스피싱 데이터 증강해보기!

-->  https://alim11.tistory.com/395

[Data Processing] '번역 후 회귀' 데이터 증강(Data Augmentation) 스크립트를 활용한 실제 보이스피싱 데