본문 바로가기

data augmentation6

[Data Processing] 단어 삭제를 통한 데이터 증강(Data Augmentation) 💃 단어 삭제를 통한 데이터 증강(Data Augmentation) 1. OS 와 Random 모듈 Import import os import random OS Random 운영 체제와 상호작용을 위한 모듈로, 디렉토리나 파일과 관련된 다양한 작업에 이용됨 난수 생성 및 시퀀스에서의 무작위 요소 선택 등의 기능을 위한 모듈 2. 주어진 파일 경로에서 랜덤하게 하나의 단어를 삭제하는 remove_random_word() 함수 구현 def remove_random_word(file_path): with open(file_path, 'r', encoding='utf-8') as file: content = file.read() words = content.split() if len(words) > 1: # E.. 2023. 7. 28.

[Data Processing] '번역 후 회귀' 데이터 증강(Data Augmentation) 스크립트를 활용한 실제 보이스피싱 데이터 증강 🍓 번역 후 회귀 기법을 사용한 실제 보이스피싱 데이터 증강 1. pandas 라이브러리를 사용하여 '사칭형_phising_data.csv' 파일에서 데이터를 불러오고, 불러온 데이터의 첫 부분 확인 #데이터 불러오기 data=pd.read_csv('사칭형_phising_data.csv') data.head() 2. 데이터프레임 'data'의 comments 열에서 첫 다섯 개의 데이터 출력 data['comments'].head() 3. 'comments' 열의 각 문장의 길이를 측정하여 5000자를 초과하는 문장의 개수 확인 #파파고 한번에 5000까지만 가능 #최대 글자 수 확인 li=[] for i in range(len(data['comments'])): li.append(len(data.ilo.. 2023. 7. 27.

[Data Processing] 동의어(유의어) 교체를 통한 데이터 증강(Data Augmentation) 스크립트 작성 🍙 동의어(유의어) 교체 기법을 사용한 데이터 증강 스크립트 1️⃣ 파이썬 패키지 관리자인 pip를 사용하여 konlpy 패키지 설치 !pip install konlpy ※ konlpy 란? konlpy는 한국어 자연어 처리를 위한 패키지로 형태소 분석와 품사 태깅, 구문 분석 등의 기능을 제공한다. konlpy를 설치하면 시 다양한 한국어 자연어 처리 작업에 유용한 클래스와 함수를 사용할 수 있다. 2️⃣ 파이썬 패키지 관리자인 pip를 사용하여 nltk 패키지 설치 !pip install nltk ※ NLTK 란? NLTK는 Natural Language Toolkit의 약자로, 자연어 처리(Natural Language Processing, NLP) 작업에 사용되는 오픈 소스 파이썬 라이브러리이다... 2023. 7. 14.

[Data Processing] 문장 재구성을 통한 데이터 증강(Data Augmentation) 스크립트 작성 🌨️ 문장 재구성 기법을 사용한 데이터 증강 스크립트 1️⃣ random 모듈 가져오기 + 문장 재구성 함수 sentence_rearrangement 구현 import random def sentence_rearrangement(sentence): words = sentence.split() # 문장을 단어로 분리 random.shuffle(words) # 단어의 순서를 무작위로 섞음 new_sentence = ' '.join(words) # 단어들을 다시 문장으로 조합 return new_sentence ※ random 모듈이란? random 모듈은 파이썬에서 제공하는 내장 라이브러리로, 난수 생성 및 관리 기능을 제공한다. 이 모듈을 사용하면 다양한 난수 생성과 무작위 요소 선택, 시퀀스 섞기 등 다.. 2023. 7. 13.

[Data Processing] 번역 후 회귀를 통한 데이터 증강(Data Augmentation) 스크립트 작성 💖 번역 후 회귀 기법을 사용한 데이터 증강 스크립트 1. Python에서 데이터 처리와 딥러닝 관련 라이브러리 Import import pandas as pd from glob import glob import os import numpy as np import pandas as pd from tqdm import tqdm, tqdm_notebook import random import torch import torch.nn.functional as F 라이브러리 설명 & 용도 pandas 데이터 조작 glob 파일 검색 os 운영 체제와의 상호작용 numpy 수치 계산 tqdm 진행 상황 시각화 random 난수 생성 torch 파이토치 딥러닝 프레임워크 2. Papago 를 통한 KOR -> EN .. 2023. 7. 12.

[Data Processing] 데이터 증강(Data Augmentation) 관련 개념 및 기법 조사 🐠 데이터 증강(Data Augmentation) 이란? 데이터 증강(Data Augmentation)은 기계 학습과 딥러닝 모델의 성능을 향상시키기 위해 기존의 학습 데이터를 변형, 조작 또는 확장시키는 기법이다. 데이터 증강(Data Augmentation)은 제한된 학습 데이터를 다양하고 풍부한 데이터로 확장시킴으로써 모델의 일반화 성능을 향상시키고, 과적합을 방지하는 데 도움을 줄 수 있다. 🐠 About 데이터 증강(Data Augmentation) 1. 데이터 증강 기법 문법 변형 동의어 & 유의어 교체 문장 재구성 (문장 간 순서 교체) 타 언어로 번역 후 다시 회귀 중간부 단어 삽입 중간부 단어 삭제 2. 데이터 증강 예시 1️⃣ 문법 변형 네, 우선은 통화자분께서 이번 사건에 연루된 혐의.. 2023. 6. 25.

이전 1 다음

티스토리툴바