[Twitter Hashtag Sentiment Analysis] (1) 프로젝트 소개 및 트위터 개발자/앱 등록하기

최근 AWS 인프라 공부를 위해 트위터 해시태그 센티멘트 분석 프로젝트를 개인적으로 시작하기로 마음먹었다. 따라서 스트리밍 관련해서 비슷한 프로젝트를 하는 사람들이 참고할 수 있도록 그 과정을 블로그에 기록할 예정이다. 

Twitter Hashtag Sentiment Analysis 프로젝트 개요

이 프로젝트에서는 Twitter의 Streaming API를 이용해 특정 해시태그를 포함하는 트윗을 받아와 센티멘트를 분석한다. 분석이 완료된 해시태그는 Kibana를 이용해 가시화 한다. 이 모든 과정은 AWS위에서 실행 될 것이며 모든 AWS인프라는 스크립트 또는 AWS Cloudformation으로 작성할 것이다.

여기까지는 나도 대략적으로 생각해 놓은 아키텍쳐이고, 개발을 하면서 막히는 부분이 있거나 개선 할 점이 있다면 그때 그때 디자인을 바꿀 예정이다. 대략적인 아키텍쳐 디자인이 끝났다면 이제 본격적으로 POC(Proof of Concept)를 해야한다. 이 과정에서는 각 서비스를 실제로 사용해보고, 예제 인풋/아웃풋을 이용해서 위의 아키텍쳐가 제대로 작동할 것인지 판단해야 한다. 하지만 그 전에 트위터의 스트리밍 API를 이용하려면 트위터 개발자를 등록해야 하므로 이를 먼저 진행한다.

Twitter Developer

트위터 API를 사용하기 위해선 Twitter에 개발자로 등록해야 한다. 트위터 개발자가 아니라면 https://developer.twitter.com/en/apps 의 오른쪽 상단에 Create an App을 누른다.

그러면 Please apply for a Twitter developer account라고 나온다. 개발자로 등록해야 한다는 뜻이다. Apply를 누르자.

위 단계로 넘어가서 본인에 해당되는 카테고리를 클릭하고 Next를 누른다. 나는 Exploring the API를 선택했다.

Next를 누르면 무슨 질문이 나오고 그 질문에 답해야 한다. 단점은 영어로 작성해야 한다는 것인데, 할수있는 만큼 최대한 자세하게 적어 200자만 넘기도록 하자.

이후 전화번호 인증등을 마친 후 위 화면처럼 정보 확인을 하고 Looks good!을 누르면 된다.

약관 동의 후 Submit Application을 누른다.

이 화면이 보이면 어플리케이션이 제대로 등록된 것이다. 

Create an App

개발자로 등록되면 다음과 같은 이메일이 온다. 이 이전에 질문하는 이메일이 올 수도 있다.

개발자로 등록되었다면 다시 https://developer.twitter.com/en/apps 로 들어가 Create an App을 누른다.

누르면 이렇게 App Details를 적는 란이 나온다. required된 입력란을 채우고 넘어간다.

앱이 성공적으로 생성되면 App details탭에 위 처럼 앱 정보가 나오는 창이 뜬다.

내가 여기서 필요한건 API Keys와 Access token & access token secret이다. 내가 만드는 앱이 이용할 아이디와 비밀번호라고 생각하면 된다. 아래 Access token & access token secret은 generate을 눌러 만들면 된다. 

끝

다음 포스트에서는 AWS Kinesis Firehose를 만들고 twitter api streaming response를 Kinesis Firehose로 전달해 보도록 한다.