개인적으로 파이썬 크롤링 프로그램을 만들다보면 네이버에서 제공하는 데이터를 사용할때가 많습니다. 그런데 어떤 경우에는 네이버 로그인을 해야만 수집할 수 있는 데이터가 종종 있습니다. 이런 경우 파이썬 크롤링 프로그램이 네이버 로그인 세션을 확보해야만 데이터를 수집할 수 있는데 이번 포스트에서 파이썬에서 네이버 로그인을 어떻게 처리해야 할지 다뤄보도록 합니다. 웹사이트의 로그인 개념 일반적으로 로그인 이라는 개념은 서버에서 사용자를 특정하여 특정된 사용자에게 부여하는 하나의 Flag 된 상태일 뿐입니다. 그리고 이 사용자에게 부여된 상태는 서버에서 세션변수를 사용하거나 클라이언트 컴퓨터의 쿠키에 상태값을 저.......

개인적으로 파이썬 크롤링 프로그램을 만들다보면 네이버에서 제공하는 데이터를 사용할때가 많습니다. 그런데 어떤 경우에는 네이버 로그인을 해야만 수집할 수 있는 데이터가 종종 있습니다. 이런 경우 파이썬 크롤링 프로그램이 네이버 로그인 세션을 확보해야만 데이터를 수집할 수 있는데 이번 포스트에서 파이썬에서 네이버 로그인을 어떻게 처리해야 할지 다뤄보도록 합니다. 웹사이트의 로그인 개념 일반적으로 로그인 이라는 개념은 서버에서 사용자를 특정하여 특정된 사용자에게 부여하는 하나의 Flag 된 상태일 뿐입니다. 그리고 이 사용자에게 부여된 상태는 서버에서 세션변수를 사용하거나 클라이언트 컴퓨터의 쿠키에 상태값을 저.......

네이버 블로그는 기본적으로 네이버에서 검색 등록이 우선적으로 되어 검색시 결과에는 노출이 잘 되지만 구글 검색결과에서는 검색 등록이 기본적으로 되지 않습니다. 이는 네이버 블로그의 정책적인 이유인지는 모르겠으나 어쨌든 블로그에 글을 쓰는 사람 입장에선 여기저기 노출이 잘 되는게 방문자 유입에 중요한 부분이기 때문에 한쪽을 포기하거나 간과할 수는 없는 노릇입니다. 네이버 블로그가 구글 검색에 안나오는 이유 기본적으로 네이버 블로그의 게시글의 소스보기를 해보면 위의 이미지에서 처럼 robots 메타태그의 content 속성에 noindex 설정이 되어있는것을 볼 수 있습니다. 이 robots 태그의 역할은 전세계 운용중인 수많은.......

네이버 블로그는 기본적으로 네이버에서 검색 등록이 우선적으로 되어 검색시 결과에는 노출이 잘 되지만 구글 검색결과에서는 검색 등록이 기본적으로 되지 않습니다. 이는 네이버 블로그의 정책적인 이유인지는 모르겠으나 어쨌든 블로그에 글을 쓰는 사람 입장에선 여기저기 노출이 잘 되는게 방문자 유입에 중요한 부분이기 때문에 한쪽을 포기하거나 간과할 수는 없는 노릇입니다. 네이버 블로그가 구글 검색에 안나오는 이유 기본적으로 네이버 블로그의 게시글의 소스보기를 해보면 위의 이미지에서 처럼 robots 메타태그의 content 속성에 noindex 설정이 되어있는것을 볼 수 있습니다. 이 robots 태그의 역할은 전세계 운용중인 수많은.......

네이버 블로그는 기본적으로 네이버에서 검색 등록이 우선적으로 되어 검색시 결과에는 노출이 잘 되지만 구글 검색결과에서는 검색 등록이 기본적으로 되지 않습니다. 이는 네이버 블로그의 정책적인 이유인지는 모르겠으나 어쨌든 블로그에 글을 쓰는 사람 입장에선 여기저기 노출이 잘 되는게 방문자 유입에 중요한 부분이기 때문에 한쪽을 포기하거나 간과할 수는 없는 노릇입니다. 네이버 블로그가 구글 검색에 안나오는 이유 기본적으로 네이버 블로그의 게시글의 소스보기를 해보면 위의 이미지에서 처럼 robots 메타태그의 content 속성에 noindex 설정이 되어있는것을 볼 수 있습니다. 이 robots 태그의 역할은 전세계 운용중인 수많은.......

이전 포스트에서 파이썬 웹프로그래밍을 위한 웹프레임워크인 Flask 에 대해서 알아보았습니다. 사실 별 내용은 없었고 아주 기본적인 Flask 사용방법에 대해서 알아보았는데 이번 포스트에서는 이를 활용하여 파이썬으로 범죄 데이터를 분석한 결과 차트를 Flask 를 활용하여 웹으로 출력하는 방법에 대해서 알아보도록 하겠습니다. 범죄데이터 일단 테스트로 사용할 범죄데이터는 통계청에서 운영하는 KOSIS 의 2020년 범죄데이터를 사용하도록 하겠습니다. 일단 KOSIS 사이트 범죄분석 데이터에 접속한 후 해당 데이터를 CSV 파일로 저장을 해야 합니다. 우측 상단의 다운로드 버튼을 클릭하고 csv 파일 포맷으로 다운로드 합니다. 다운로드 받.......

이전 포스트에서 파이썬 웹프로그래밍을 위한 웹프레임워크인 Flask 에 대해서 알아보았습니다. 사실 별 내용은 없었고 아주 기본적인 Flask 사용방법에 대해서 알아보았는데 이번 포스트에서는 이를 활용하여 파이썬으로 범죄 데이터를 분석한 결과 차트를 Flask 를 활용하여 웹으로 출력하는 방법에 대해서 알아보도록 하겠습니다. 범죄데이터 일단 테스트로 사용할 범죄데이터는 통계청에서 운영하는 KOSIS 의 2020년 범죄데이터를 사용하도록 하겠습니다. 일단 KOSIS 사이트 범죄분석 데이터에 접속한 후 해당 데이터를 CSV 파일로 저장을 해야 합니다. 우측 상단의 다운로드 버튼을 클릭하고 csv 파일 포맷으로 다운로드 합니다. 다운로드 받.......

이전 포스트에서 파이썬 웹프로그래밍을 위한 웹프레임워크인 Flask 에 대해서 알아보았습니다. 사실 별 내용은 없었고 아주 기본적인 Flask 사용방법에 대해서 알아보았는데 이번 포스트에서는 이를 활용하여 파이썬으로 범죄 데이터를 분석한 결과 차트를 Flask 를 활용하여 웹으로 출력하는 방법에 대해서 알아보도록 하겠습니다. 범죄데이터 일단 테스트로 사용할 범죄데이터는 통계청에서 운영하는 KOSIS 의 2020년 범죄데이터를 사용하도록 하겠습니다. 일단 KOSIS 사이트 범죄분석 데이터에 접속한 후 해당 데이터를 CSV 파일로 저장을 해야 합니다. 우측 상단의 다운로드 버튼을 클릭하고 csv 파일 포맷으로 다운로드 합니다. 다운로드 받.......