AWS
-
[일일회고] Athena Presto CASE 문, String Split함수소프트웨어 엔지니어링/Daily Learning Series 2023. 12. 13. 14:19
회고의 계절이 돌아왔다. 그래서 회고를 해보려는데 기억이 안난다. 일년간 뭘 배웠는지, 뭘 했는지 정말 기억이 나지 않는다. 분명히 새로운 것을 많이 배웠는데 여러가지 문제를 많이 해결했는데, 그 당시 문제 해결 할 때만 반짝 검색해서 쓰고 그 다음에는 기억이 안나서 또 검색하고 있다. 그래서 앞으로 배운게 있으면 짧게라도 정리해서 올려볼까 생각중이다. 기술 문제가 될 수도 있고, 프로세스나 사람간의 문제가 될 수도 있다. 오늘의 문제 요즘 데이터 분석 및 시각화를 하느라 Athena Presto 쿼리를 짜고 있다. 그 중 오늘 짠 쿼리에서, 문자열(스트링) 컬럼의 일부 정보를 다른 대체문자로 변경해야 하는 문제가 있었다. 예를들어 문자열은 ‘id-type-property-something_else’ 이..
-
파이썬으로 AWS S3 버킷(Bucket) 만들기파이썬(Python) 강의 2019. 7. 29. 10:40
이 포스트에서는 파이썬과 AWS 파이썬 라이브러리인 boto3를 이용해 AWS S3 버킷을 만들어 보도록 한다. 전체 코드는 aws_s3_create_bucket.py 에서 확인할 수 있다. 이 포스트의 독자는 파이썬을 어느정도 활용할 수 있으며 pip과 같은 툴을 이용해 라이브러리 설치를 자유롭게 할 수 있다고 가정한다. AWS S3 버킷을 파이썬으로 만드는게 왜 중요한가? 그냥 AWS Console의 GUI를 이용하면 더 쉽지 않은가? 맞다. 만약 하나의 S3 버킷을 만든다고 하면 AWS 콘솔에서 하는것이 더 간단할 수 있다. 하지만 AWS Console을 이용하면 항상 개발자 또는 오퍼레이터가 콘솔에 접속해 클릭 클릭해야한다. 자바, 파이썬, 루비등의 언어와 boto3 라이브러리를 이용하면 이 과정..
-
[Twitter Hashtag Sentiment Analysis] (1) 프로젝트 소개 및 트위터 개발자/앱 등록하기취미로 하는 프로젝트 2019. 7. 1. 09:25
최근 AWS 인프라 공부를 위해 트위터 해시태그 센티멘트 분석 프로젝트를 개인적으로 시작하기로 마음먹었다. 따라서 스트리밍 관련해서 비슷한 프로젝트를 하는 사람들이 참고할 수 있도록 그 과정을 블로그에 기록할 예정이다. Twitter Hashtag Sentiment Analysis 프로젝트 개요이 프로젝트에서는 Twitter의 Streaming API를 이용해 특정 해시태그를 포함하는 트윗을 받아와 센티멘트를 분석한다. 분석이 완료된 해시태그는 Kibana를 이용해 가시화 한다. 이 모든 과정은 AWS위에서 실행 될 것이며 모든 AWS인프라는 스크립트 또는 AWS Cloudformation으로 작성할 것이다.여기까지는 나도 대략적으로 생각해 놓은 아키텍쳐이고, 개발을 하면서 막히는 부분이 있거나 개선 할..
-
아마존 웹 서비스 EC2 인스턴스 만들기소프트웨어 개발 툴 2019. 3. 19. 13:22
예상 독자아마존 웹 서비스가 뭔지 알고 싶은 사람.아마존 웹 서비스 가입을 마친 사람.아마존 웹 서비스에 EC2 인스턴스를 실행하고 싶은 사람.목표EC2 (Elastic Compute Cloud)EC2 인스턴스 만들기참고 - 인스턴스 세부정보의 VPC와 보안그룹EC2 (Elastic Compute Cloud)EC2는 아마존 웹 서비스 중에서도 가장 많이 사용되는 서비스 중 하나이다. EC2인스턴스 하나가 가상 서버 하나라고 생각하면 된다. 전통적인 방식으로 서버를 설정하려면 데이터센터에 서버를 사거나 호스팅 사이트를 이용해야 한다. 호스팅 사이트는 제약이 많은 경우가 많아 웹사이트 정도의 작은 어플리케이션을 올리는 데 적당하고, 비즈니스 어플리케이션은 보통 데이터서버의 서버에 실행시킨다. 따라서 호스팅 ..
-
아마존 웹 서비스 가입 및 AWS Cli 설정소프트웨어 개발 툴 2019. 3. 12. 15:54
클라우드 서비스의 등장으로 인해 소프트웨어는 제 2의 전성기를 맞았다고 해도 과언이 아닐 정도로 다시 엄청난 붐을 맞았다. 클라우드 서비스란 무엇인가? 클라우드 서비스란 간단하게 말해 인터넷을 통해 자원(cpu, memory, etc) 또는 서비스를 사용하는 것을 의미한다. 즉, 우리가 물리적으로 컴퓨터 또는 어플리케이션을 살 필요 없이 인터넷으로 컴퓨터/어플리케이션을 사고 인터넷을 이용해 그 컴퓨터/어플리케이션을 이용한다는 뜻이다. 이 때 우리가 클라우드를 이용해 사용하는 컴퓨터는 대부분 서버로 사용된다. 이런 서비스를 제공하는 대표적인 회사중 하나가 바로 아마존 웹 서비스이다. 이 포스트를 통해서 우리는 아마존 웹 서비스에 어떻게 가입하고, 아마존 웹 서비스에는 어떤 서비스들이 있는지 알아보도록 한다..