Tweepy를 이용한 스트리밍 파이썬 스크립트

Tweepy는 트위터 API를 사용하기 위한 파이썬 라이브러리이다. Tweepy가 없다면 스트리밍 부분까지 전부 구현해야 하지만 다행히 라이브러리가 있으므로 라이브러리를 이용해 개발 시간을 단축할 수 있었다. Tweepy에 대한 자세한 내용은 https://www.tweepy.org/ 에서 확인 할 수 있다.

Tweepy 설치

pip install tweepy

Tweepy는 pip install tweepy를 이용해 설치 할 수 있다. 만약 파이참 + 파이썬 가상 환경(venv)를 사용한다면 가상환경 안에서 설치하면 된다.

스트리밍 스크립트

# Import tweepy library
from tweepy.streaming import StreamListener
from tweepy import OAuthHandler
from tweepy import Stream
import json

# 트위터 API 크레덴셜
access_token =  "<TWITTER_ACCESS_TOKEN>" 
access_token_secret = "<TWITTER_ACCESS_TOKEN_SECRET>" 
consumer_key = "<TWITTER_CONSUMER_KEY>" 
consumer_secret = "<TWITTER_CONSUMER_SECRET>" 

# 리스너 - 스트리밍 API로 부터 값이 들어오면 아래의 리스너가 실행된다.
class Listener(StreamListener):

    def on_data(self, data):
        json_data = json.loads(data)
        print(json_data)
        return True

    def on_error(self, status):
        print("ERROR: " + str(status))


def main():
    # 리스너 생성
    l = Listener()
    auth = OAuthHandler(consumer_key, consumer_secret)
    auth.set_access_token(access_token, access_token_secret)
    stream = Stream(auth, l) #리스너와 크레덴셜을 Stream클래스 생성시 넘겨준다

    # 언어=한국어(ko), 해시태그=삐멜
    stream.filter(languages=["ko"], track=['삐멜'])


if __name__ == '__main__':
    main()

main()

Stream - 트위터 스트리밍 API 클래스.

filter - filter의 인자로 language와 track을 넣어준다. track에 스티리밍받을 해시태그를 넣는다.

Listener - Stream오브젝트 생성시 Listener오브젝트를 넘겨주는데, 이 오브젝트의 on_data와 on_error는 콜백 함수로, 스트리밍 데이터를 받는경우 on_data, 에러가 나는 경우 on_error가 실행된다.

stream.filter가 불리는 순간 스트리밍이 시작된다.

실행결과

데모를 위해 코드 실행 후 트위터에 글을 올렸다.

콘솔을 통해 받은 스트리밍 결과

{'created_at': 'Sat Jul 13 23:20:58 +0000 2019', 'id': 1150183366425075712, 'id_str': '1150183366425075712', 'text': '트위터 해시태그 스트리밍 포스팅용 데모\n#삐멜', 'source': '<a href="http://twitter.com" rel="nofollow">Twitter Web Client</a>', 'truncated': False, 'in_reply_to_status_id': None, 'in_reply_to_status_id_str': None, 'in_reply_to_user_id': None, 'in_reply_to_user_id_str': None, 'in_reply_to_screen_name': None, 'user': {'id': 1087578285200965632, 'id_str': '1087578285200965632', 'name': '삐멜', 'screen_name': 'fsoftwareengin1', 'location': None, 'url': 'http://imasoftwareengineer.tistory.com', 'description': '실리콘밸리의 여성 소프트웨어 엔지니어입니다. \n주로 블로그 관련, 컴퓨터 관련 트윗 합니다. \n아무거나 트윗합니다. \n가끔 하는 개인적인 이야기는 조언이나 독려가 아닙니다.\n제 트윗은 회사의 의견을 반영하지 않습니다.', 'translator_type': 'none', 'protected': False, 'verified': False, 'followers_count': 2154, 'friends_count': 46, 'listed_count': 16, 'favourites_count': 429, 'statuses_count': 438, 'created_at': 'Tue Jan 22 05:10:44 +0000 2019', 'utc_offset': None, 'time_zone': None, 'geo_enabled': False, 'lang': None, 'contributors_enabled': False, 'is_translator': False, 'profile_background_color': '000000', 'profile_background_image_url': 'http://abs.twimg.com/images/themes/theme1/bg.png', 'profile_background_image_url_https': 'https://abs.twimg.com/images/themes/theme1/bg.png', 'profile_background_tile': False, 'profile_link_color': '19CF86', 'profile_sidebar_border_color': '000000', 'profile_sidebar_fill_color': '000000', 'profile_text_color': '000000', 'profile_use_background_image': False, 'profile_image_url': 'http://pbs.twimg.com/profile_images/1089407187661729792/Y4yt7x3q_normal.jpg', 'profile_image_url_https': 'https://pbs.twimg.com/profile_images/1089407187661729792/Y4yt7x3q_normal.jpg', 'profile_banner_url': 'https://pbs.twimg.com/profile_banners/1087578285200965632/1548570710', 'default_profile': False, 'default_profile_image': False, 'following': None, 'follow_request_sent': None, 'notifications': None}, 'geo': None, 'coordinates': None, 'place': None, 'contributors': None, 'is_quote_status': False, 'quote_count': 0, 'reply_count': 0, 'retweet_count': 0, 'favorite_count': 0, 'entities': {'hashtags': [{'text': '삐멜', 'indices': [22, 25]}], 'urls': [], 'user_mentions': [], 'symbols': []}, 'favorited': False, 'retweeted': False, 'filter_level': 'low', 'lang': 'ko', 'timestamp_ms': '1563060058586'}

끝

다음 포스트에서는 Amazon Kinesis Firehose를 셋업, boto3 설치 및 위의 스크립트를 이용해 Firehose로 스트리밍 데이터를 전송하는 법을 설명할 것이다.