khann's IT와 경제 블로그

빅데이터 → (4)건

airflow 설치 [locally] on m1

airflow 설치 [locally] on m1 airflow는 빅데이터의 ETL(Extraction -> Transformation -> Loading) workflow를 관리하는 플랫폼(툴)이다. pipline이 많아지면서 관리가 어려워지는 걸 쉽게 하기 위해 AirBnB에서 만들었다.(Apache lincese, 오픈소스) 4가지 구성요소가 있다. Webserver Scheduler Excutor Workers Dag(Directed Acyclic Graph)를 이용하여 Workflow를 작성한다. 1. 설치환경 m1 맥북 에어 python 3.9 2. 설치 python3 -m pip install "apache-airflow==2.3.3" --constraint "https://raw.github..
빅데이터 2022. 8. 3. 20:53

마스크 알리미 사이트 크롬으로 분석하기 동작원리와 API 추출

마스크 알리미 사이트 크롬으로 분석하기 동작원리와 API 추출 마스크 알리미가 종일 화제입니다. 이 포스팅은 저의 궁금증으로 시작했습니다. 아래 포스팅을 보시면 마스크 알리미 서비스의 동작원리와 마스크 알리미 API를 이용해 누구나 데이터를 가져올 수 있습니다. 저와 같은 궁금증이 있으신 분들과 공부하시는 분들이 참고하시면 좋을 것 같습니다. 네이버 인기검색어에 올라오며 알게 되었는데, 멋쟁이사자처럼을 운영하시는 이두희님과 학생들이 만들었다고 하네요. 이 마스크 알리미는 전국에 있는 "편의점의 마스크재고"를 10분 이내의 싱크로 알려준다고 합니다. 그래서 궁금했습니다. 과연 어디서 편의점의 재고 데이터를 가져오는걸까요?? 동작원리 우선 마스크 알리미 사이트에 접속해 봤습니다. 그러니 이런 공지가 뜨네요...
빅데이터 2020. 3. 7. 12:40

직접 코로나 맵 사이트 만드는 방법, 우한 폐렴 데이터 수집 및 공유 파이썬

직접 코로나 맵 사이트 만드는 방법, 우한 폐렴 데이터 수집 및 공유 파이썬 20200306 추가) 현재 질병관리본보의 사이트의 레이아웃이 약간 수정되었습니다. 그렇지만 기본 수집하는 과정은 동일하니 참고하시기바랍니다. 코로나 맵 최근 인기검색어에 코로나맵이 화제가 되고있습니다. 2019년 12월 12일 중국 후베이성 우한시의 화난수산물도매시장에서 처음 시작된 우한 폐렴 코로나바이러스가 구정이 지나고 급속도로 퍼져나갔고, 2020년 1월 2일 한국에서도 첫 확진자가 발생되었습니다. 그리고 현재 2020년 2월 2일 기준으로 국내 확진환자가 15명으로 늘어났고, 조사대상상인 유 증상자가 총 414명으로 늘어났습니다. 그리고 2월 1일 인기검색어에 "코로나 맵"이라는게 올라왔습니다. 한 대학생이 만든 웹사이..
빅데이터 2020. 2. 2. 18:44

우한 폐렴 국내 선별진료소 현황 수집하기 (python, pandas이용)

우한 폐렴 국내 선별진료소 현황 수집하기 (python, pandas이용) 우한 폐렴 : 코로나 바이러스 2019년 12월 12일 중국 후베이성 우한시의 화난수산물도매시장 일대에서 처음 발병되었습니다. 20219년 12월 31일 전세계 감염자 27명에서 2020년 12월 1일 현재 전 세계 감염자 11,947명 사망 259명이 발생했습니다. 그리고 1월 20일 한국에서도 첫 확진 환자가 발생했고 2월 1일 현재는 12번째 확진자가 나왔습니다. 우한폐렴(신종 코로나바이러스감염증) 선별 진료소 현황 현재 우리나라의 질병관리본부(KCDC)에서는 우한 폐렴 즉 신종 코로나바이러스감염증에 대해서 진료소를 선별하고 공개했습니다. *KCDC제공 우한폐렴 선별 진료소 현황 사이트 http://www.mohw.go.kr..
빅데이터 2020. 2. 1. 18:36
◀ 1 ▶

티스토리툴바