[AWS] Boto3 SDK를 활용한 데이터 업로드 자동화 (Forward AWS S3 Bucket)

🌸 Boto3 SDK를 활용한 데이터 업로드 자동화 (Forward AWS S3 Bucket)

1. pip 명령어를 이용하여 boto3 설치

!pip install boto3

 

++ boto3 란?

boto3는 Amazon Web Services (AWS)와 상호작용하기 위한 오픈 소스 라이브러리로, AWS와 상호작용하기 위한 다양한 기능과 클래스를 제공한다.

boto3는 SDK 중에서도 Python 프로그래밍 언어를 사용하는데, AWS 서비스 중 S3(Simple Storage Service)나 EC2(Elastic Compute Cloud) 등 다양한 서비스에 접근하여 데이터 업로드 & 다운로드하는 등의 작업을 수행할 수 있다.

2. AWS 자격 증명 설정 후 클라이언트 객체 생성

import boto3

# AWS 자격 증명 설정
aws_access_key_id = '엑세스 키 ID',
aws_secret_access_key = '계정의 시크릿 엑세스 키'

# AWS 클라이언트 생성
s3_client = boto3.client('s3', aws_access_key_id=aws_access_key_id, aws_secret_access_key=aws_secret_access_key)

3. boto3를 임포트한 후, 파일을 S3 버킷에 업로드하는 upload_file_to_s3() 함수 구현

import boto3

def upload_file_to_s3(local_file_path, bucket_name, s3_file_path, aws_access_key_id, aws_secret_access_key):
    """
    로컬 파일을 S3 버킷에 업로드하는 함수
    :param local_file_path: 업로드할 로컬 파일의 경로 (예: "C:\\Users\\USER\\Desktop\\1234.mp3")
    :param bucket_name: 업로드할 S3 버킷의 이름
    :param s3_file_path: S3 버킷 내에서 파일이 저장될 경로 및 이름 (예: "uploads/1234.mp3")
    :param aws_access_key_id: AWS 액세스 키 ID
    :param aws_secret_access_key: AWS 비밀 액세스 키
    """
    try:
        s3_client = boto3.client('s3', aws_access_key_id=aws_access_key_id, aws_secret_access_key=aws_secret_access_key)
        s3_client.upload_file(local_file_path, bucket_name, s3_file_path)
        print(f"파일이 성공적으로 S3 버킷에 업로드되었습니다. 버킷: '{bucket_name}', 경로: '{s3_file_path}'")
    except Exception as e:
        print(f"파일 업로드에 실패했습니다. 오류 메시지: {str(e)}")

4. 업로드할 파일의 경로 설정

# 업로드할 로컬 파일의 경로
local_file_path = "/content/test.txt.txt"

5. S3 버킷명 설정 후, 파일 저장 경로 및 파일이 저장될 이름 지정

# S3 버킷의 이름
bucket_name = "giveittome"

# S3 버킷 내에서 파일이 저장될 경로 및 이름
s3_file_path = "hello/test.txt"

6. upload_file_to_s3() 함수를 호출하여 파일을 S3 버킷에 업로드

# 파일을 S3 버킷에 업로드
upload_file_to_s3(local_file_path, bucket_name, s3_file_path, aws_access_key_id, aws_secret_access_key)

7. 파일이 성공적으로 업로드되었음을 확인

 

---

++ 파일 업로드를 실패했다면?

-->  오류 메시지: Unable to locate credentials" 에러 해결 방법 ( https://alim11.tistory.com/400 )

[Data Processing] "파일 업로드에 실패했습니다. 오류 메시지: Unable to locate credentials" 에러 해결 방법