전체 글 (147) 썸네일형 리스트형 [Elastic Search] esdump 활용 따로 커스텀해서 사용중인 esdump 관련 코드 일부를 업로드 [참고] https://github.com/elasticsearch-dump/elasticsearch-dump GitHub - elasticsearch-dump/elasticsearch-dump: Import and export tools for elasticsearch Import and export tools for elasticsearch. Contribute to elasticsearch-dump/elasticsearch-dump development by creating an account on GitHub. github.com 상수 값들 예시 { "ELASTIC_URL": "http://:@:", "INDEX": "", "OUTPU.. [S3] boto3 SDK 활용 버킷 확인, 생성, 업로드 s3 클라이언트 세션 생성 def get_s3_session(access_key, secret_access_key): s3 = boto3.client( 's3', aws_access_key_id = access_key, aws_secret_access_key= secret_access_key ) return s3 버킷 확인 def check_bucket(s3, bucket_name): # # bucket 명 확인 # response = s3.list_buckets() buckets = [bucket['Name'] for bucket in response['Buckets']] print(f"[INFO] bucket name list: {buckets}") if b.. [Athena] AWS SDK boto3 활용 쿼리 엑세스키, 시크릿 엑세스키 발급 boto3를 활용해서 AWS client에 접근하기 위해서는 access key, secret access key가 필요하다. 어떻게 엏는지는 아래 링크를 참고하자 https://assaeunji.github.io/aws/2020-04-02-boto3/ boto3를 활용한 Athena Query import boto3 import time # # https://gist.github.com/chrisdpa-tvx/96ad6099da868bf83579fcb0d8caa00c # https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/athena.html # athena_handler = boto3.c.. [Athena] 테이블 생성 및 수동 파티셔닝 방법 (웹) 아테나 쿼리를 위한 쿼리용 테이블 생성 및 파티셔닝 방법 테이블 생성 방법 오른쪽 상단의 쿼리 편집기 탐색을 클릭한다. 편집기 > 메뉴 가운데 부분의 테이블 및 보기의 생성 클릭 후, S3 버킷 데이터를 클릭한다. 테이블 세부 정보를 작성해야한다. 여기서 말하는 테이블은, 아테나 서비스에서 쿼리를 하기 위해 한번더 재정의하는 아테나 테이블이다. 데이터 베이스 생성이다. 3번과 동일하게 아테나 서비스에서 사용할 데이터베이스를 생성하는 것이다. 필요하다면 데이터베이스 생성을 진행 후, 해당 데이터베이스를 사용해도 된다. 아래 사진은 test_db라는 데이터베이스를 사전에 생성하였다. 아테나 서비스가 쿼리할 대상(데이터 파일)의 위치를 지정하는 부분이다. 내가 사용한 백업데이터 S3 버킷명은 elastic-b.. [Athena] 아테나를 사용하면서 필요했던 AWS IAM 정책 전체로 부여받은 정책 S3 관련 별개로 요청한 정책 glue:GetPartitions glue:BatchCreatePartition glue:CreateTable glue:GetDatabase glue:GetTable athena:StartQueryExecution Mongo DB query show dbs; show collections; use ; db.컬렉션명.find({Query}, {Projection}) Query ex. {"_id":ObjectId("615d5d5e601d726824d75a25")} Projection은 해당 키값들 중 보고싶은것을 지정 한다. True는 보이도록, False는 안보이도록 ex. {"_id":true} db.컬렉션명.find({}, {"_id":True or False}); db.컬렉션명.find({"_id":ObjectId("615d5d5e601d726824d75a25")}) https://docs.mongodb.com/manual/reference/method/ObjectId/ find 시 limit, skip 예시 https://stackov.. 소프트웨어 라이센스 정리 https://www.olis.or.kr/license/licenseOSI.do?page=1 라이선스 분류 www.olis.or.kr Docker로 Postgresql 실행 시, 데이터베이스 자동 생성하기 TODO. Postgresql의 기본이미지를 Docker로 실행하는데, 이때 특정 DB를 생성하려고 한다. Postgresql을 실행할 때, 동작할 init.sql을 생성해준다. init.sql CREATE DATABASE kcs_file; 참고: 삽질... DO $$ BEGIN IF NOT EXISTS(SELECT * FROM pg_database WHERE datname='') THEN CREATE DATABASE ; END IF; END; $$ LANGUAGE PLPGSQL; DB가 존재하는 경우, 존재하지 않는 경우를 따져 생성하려고 위 처럼 만들었는데, CREATE DATABASE cannot be executed from a function or multi-command string에러가 발생.. 이전 1 2 3 4 5 6 7 8 ··· 19 다음
