[Data Processing] STT 데이터 다운로드를 위한 자동화 스크립트 작성

🍀 STT 데이터 다운로드를 위한 자동화 스크립트 작성

 

① pip 명령어를 통해 boto3 패키지 설치 & boto3 모듈 임포트

!pip install boto3

import boto3

 

※ boto3 란?

AWS 서비스와 상호작용하기 위해 사용하는 Python SDK
--> 임포트한 boto3 이 모듈을 사용하여 AWS S3 클라이언트를 생성하고 파일을 다운로드할 수 있음

 

 

② AWS 계정 자격 증명과 AWS 리전 설정

# AWS 계정 자격 증명 및 AWS 리전 설정
aws_access_key_id = "계정의 엑세스 키값"
aws_secret_access_key = "계정의 시크릿 엑세스 키값"
aws_region = "계정의 AWS Region"

 

※ AWS 리전(Region) 이란?

: AWS 클라우드에서 제공하는 지리적인 영역.
독립된 데이터 센터 집합으로 구성되어 있으며, 다수의 가용 영역(Availability Zone)으로 나누어져 있다.

 

 

※ AWS 계정 자격 증명이란?

: AWS 리소스에 액세스할 수 있는 권한을 부여하는 정보로, 일반적으로 액세스 키와 시크릿 키(또는 액세스 토큰)로 구성되어있다.

 

AWS 계정 자격 증명
엑세스 키	시크릿 엑세스 키
프로그래밍적 엑세스 시 사용되는 식별자	프로그래밍적 엑세스 시 사용되는 비밀번호

 

 

③ JSON 파일을 다운로드할 download_json_file() 함수 구현

def download_json_file(job_number, output_path):
    # AWS 계정 자격 증명 및 AWS 리전 설정
    aws_access_key_id = "계정의 엑세스 키값"
    aws_secret_access_key = "계정의 시트릿 엑세스 키값"
    aws_region = "계정의 AWS Region"

    # AWS S3 클라이언트 생성
    s3 = boto3.client("s3", aws_access_key_id=aws_access_key_id,
                            aws_secret_access_key=aws_secret_access_key,
                            region_name=aws_region)

    # 파일 다운로드 반복문
    for job_number in job_numbers:
    
        # 다운로드할 파일 경로 생성
        job_url = f"파일이 있는 URL 주소"
        file_name = f"수사기관 사칭형_{job_number}.json"
        file_path = f"{output_path}/{file_name}"

        # 파일 다운로드
        s3.download_file(Bucket="bucket_name", Key=file_path, Filename=file_name)

 

※ Line 2 ~ 5

②번 과정에서 설정한 계정 정보 작성

 

※ Line 7 ~ 10

②번 과정에서 설정한 계정 정보를 받아 S3 클라이언트 생성

 

※ Line 12 ~ 13

download_json_file 함수 내부에 파일 다운로드를 위한 반복문 구현
-->  job_numbers 리스트의 각 요소에 대해 반복하면서 파일을 다운로드합니다.

 

※ Line 15 ~ 18

job_url, file_name, file_path 변수를 사용하여 파일 경로 생성

 

변수명
job_url	file_name	file_path
AWS Transcribe 작업의 URL 생성	다운로드할 파일의 이름 지정	다운로드할 파일이 저장될 경로 지정

 

※ Line 20 ~ 21

s3.download_file 함수를 사용하여 파일 다운로드
-->  AWS S3에서 파일을 다운로드하여 file_path에 지정된 경로로 저장

 

 

④ 다운로드할 파일의 번호 & 다운로드 경로 설정

# 다운로드할 파일 번호와 저장할 경로 설정
job_numbers = [8, 9, 10, 11, 12, 13, 14, 15, 16]  # 다운받을 파일 번호를 리스트로 지정
output_path = "다운로드받을 경로"

 

 

⑤ download_json_file 함수를 호출하여 JSON 파일 다운로드

# JSON 파일 다운로드 실행
download_json_file(job_numbers, output_path)