목록Dev (117)
Learn & Record
1. Pandas - numpy의 경우 배열의 모든 원소가 데이터 타입이 같아야 했지만, - pandas의 경우에는 원소의 데이터 타입이 달라도 저장 가능 import pandas as pd import numpy as np s2 = pd.Series(['a','b','c',5,6,7,8]) # 넘파이 였다면 모두를 문자열로 변경 print(s2) # 데이터가 없으면 numpy를 임포트한 후에 np.nan으로 데이터가 없음을 표시할 수 있음 # 데이터를 위한 자리 index는 있지만 실제 값이 없음 s3 = pd.Series([np.nan, 10, 30]) print(s3) # Series 데이터를 생성할 때 다음과 같이 인자로 index 추가 가능 # s = pd.Series(seq_data, inde..
- Pandas 라이브러리 설치 (Numpy도 자동으로 설치됨) 1. 넘파이 Numpy - 배열 데이터를 효과적으로 다룰 때 사용 - 파이썬으로 과학 연산을 쉽고 빠르게 할 수 있게 만든 패키지 - Numpy를 이용하면 파이썬의 기본 데이터 형식과 내장 함수를 이용하는 것보다 다차원 데이터를 효과적으로 처리 가능 - Numpy 홈페이지 : http://numpy.org/ NumPy - Use the interactive shell to try NumPy in the browser numpy.org - 배열 Array 이란 1) 순서가 있는 2) 같은 종류의 데이터가 저장된 집합 - Numpy를 이용해 배열을 처리하기 위해서는 우선 Numpy로 배열을 생성해야 함 - 다양한 방법으로 배열 생성 # 1. 배..
1. 연습문제 import requests from bs4 import BeautifulSoup as bs # BeautifulSoup 실습 : find_all() 메소드 이용하기 # 다음 뉴스에서 제목, 링크, 뉴스 본문 추출하기 # 다음 뉴스에서 제목, 링크, 뉴스 본문 추출해서 파일로 저장하기 # 1) 이전 예제를 활용할 것 # 2) 링크를 추출한 for 안에서 제목을 추출 # 3) 뉴스 본문은 링크를 이용 # 4) 링크를 타고 뉴스 본문을 들고 와야 되니 # for문 안에서 requests, BeautifulSoup가 실행이 되어야 함 # 5) 제목, 링크, 뉴스 순으로 csv 저장 # 기사 모으기 url = 'https://news.daum.net/' response = requests.get(..
1. 공공데이터활용(공항터미널) import csv import pprint import requests import xmltodict # 인증키 저장 service_key : str = '1wMGYoH1onj8LIYDjyTfyuVPZLQc6F31PLdZjBj6jxjEi5P5suF4F9tGV2d38RvWOUj0tpiv6%2FOmN0NsBd93gg%3D%3D' # URL 기입 url = 'http://apis.data.go.kr/B551177/BusInformation/getBusInfo' param = f'?serviceKey={service_key}&type=xml&area=6&numOfRows=30' # URL 정보 불러옴 response = requests.get(url+param) # 불러온 정보..
1. 공공데이터활용(에어코리아) - 공공데이터포털_에어코리아_측정소정보 import json import csv import requests # 1. 데이터 수집 # 서비스 키 service_key :str = '서비스키' url = 'http://apis.data.go.kr/B552584/MsrstnInfoInqireSvc/getMsrstnList' param_str : str = f'?addr=대구&pageNo=1&numOfRows=30&serviceKey={service_key}&returnType=json' response = requests.get(url + param_str) json_data = response.text # HTTP 응답에서 텍스트 데이터를 추출 dict_data = json..
1. 공공데이터활용 import csv from typing import List # example_file = open('./input/아파트(매매)_실거래가_20240304154554.csv') # example_reader = csv.DictReader(example_file) # print('출력') # for row in example_reader: # print(f'{row}') # print('=' * 20) # 조건 : 래미안 단지만 검색 # 출력조건: 지역, 단지명, 크기, 층수, 거래금액 # 저장 파일명 : apt_2403_조건1.csv # with로 파일 처리 new_datas: List[dict] = list() with open('./input/아파트(매매)_실거래가_2024030..