본문 바로가기

전체 글

(55)
시각화로 데이터 탐색하기(2) 2. 다변량 시각화 탐색하기 1)산점도(scatter plot) - 2개의 연속형 변수의 관계를 보기 위해 좌표의 X축과 Y축에 표시하는 점들을 찍어서 만드는 그래프이다 - 산점도에 표기되는 점들은 자료들의 관측값을 나타낸다 비행시간(duration)과 항공권 가격(price)의 관계를 알아보자plt.scatter을 사용하면 산점도를 시각화 할 수 있다plt.figure(figsize=(16,8))#price와 duration의 산점도 그리기plt.scatter(y=df["price"], x=df["duration"])plt.xlabel("Duration")plt.ylabel("Price")plt.show()좌석등급(class) 칼럼은 Business와 Economy 값으로 구성되며 좌성 등급 전체에 ..
시각화로 데이터 탐색하기 데이터의 시각화는 방대한 양의 데이터를 빠르게 확인하고 유의미한 특성을 찾아내는 중요한 작업이다 파이썬에는 여러 가지 시각화 라이브러리가 있지만, 그중 matplotlib는 가장 범용적으로 사용하는 라이브러리이다 matplotlib 시각화 방법 지원선 그래프(line plot)막대 그래프(bar plot)파이 그래프(pie plot)히스토그램(histogram)상자 그래프(box plot)산점도(scatter plot)1. 일변량 시각화 탐색하기 - matplotlib을 사용하려면 figure, plot, show 3가지를 기억하면 된다 - figure는 시각화 하는 영역을 지정한다, matplotlib.pyplot을 plt로 선언하고 plt.figure로 사용한다 - plot은 시각화 내용을 표기하며,..
지표로 데이터 탐색하기 탐색적 데이터 분석(EDA, Exploratory Data Analysis)은 데이터를 탐색하고 이해하는 것으로 시작한다데이터 탐색을 통해 어떤 칼럼을 분석해야 하는지, 그러기 어떤 특성은 제거하고 남긴 것인지에 대한 정제 방향을 결정할 수 있다 1. 일변량 비시각화 탐색하기 1) 요약 통계량 확인하기 - 수학적 통계 정보는 데이터의 분포를 확인하는데 매우 유용하다. 판다스에서는 요약 통계를 확인하기 편하도록 describe 메소드를 제공한다 데이터 출처 : https://www.kaggle.com/datasets/shubhambathwal/flight-price-prediction Flight Price PredictionPredict Fllight Price, practise feature engin..
데이터프레임 병합하기 데이터를 전처리하는 과정에서 데이터 병합이 필요한 상황도 많이 발생한다 2개 이상의 데이터프레임을 병합하는 방법이 있다 1. concat을 활용하여 병합하기 - 판다스의 concat 함수는 2개 이상의 데이터프레임을 병합할 때 사용한다. - 데이터의 속성이 동일한 데이터프레임을 합치는 경우에 주로 사용한다. 1) 칼럼명이 같은 경우칼럼명이 같은 데이터프레임을 생성하여 concat 함수의 파라미터 중 ignore_index와 axis 값을 비교해보자#concat 실행을 위한 데이터프레임 만들기import pandas as pdimport numpy as npdf1=pd.DataFrame({'col1' : ['사과', '배', '감', '수박', '메론'], 'col2' : [500, 1000,2500, 5..
Your local changes to the following files would be overwritten by merge: 해결방법 1. 로컬 변경사항 임시 저장하기  $ git stash 2. 병합 수행하기  $ git pull origin dev 3. 임시 저장된 변경 사항 복원하기 $ git stash pop
AWS # Identity and Access Management IAM 소개  - AWS 리소스에 대한 액세스를 안전하게 제어할 수 있는 웹 서비스 IAM 을 사용하면 AWS에서 사용자, 그룹 및 역할을 생성하고 관리하여 리소스에 대한 세스를 안전하게 제어할 수 있다 IAM을 사용하면 다음과 같은 보안 기능을 수행할 수 있다.인증: IAM을 사용하여 사용자가 AWS 리소스에 액세스할 때 사용자 이름과 암호를 요청하여 인증할 수 있습니다.권한 부여: IAM을 사용하여 사용자, 그룹 또는 역할에 대한 권한을 지정할 수 있습니다. 권한은 AWS 리소스에서 수행할 수 있는 작업을 나타내며 IAM 정책을 사용하여 지정할 수 있습니다.권한 검증: IAM을 사용하여 사용자가 AWS 리소스에 대한 액세스를 요청할 때 요청이 인증된 사용자에게 허용되는지 여부를 결정할 수 있습니다. ..
QueryDSL, Auditing, Dynamic Insert/Update QueryDSL : Entity 의 매핑정보를 활용하여 쿼리에 적합하도록 쿼리 전용 클래스(Q클래스)로 재구성해주는 기술 - JPAQueryFactory 을 통한 Q클래스를 활용할 수 있는 기능들을 제공 JPAQueryFactory : 재구성한 Q클래스를 통해 문자열이 아닌 객체 또는 함수로 쿼리를 작성하고 실행하게 해주는 기술 @PersistenceContextEntityManager em; public List selectUserByUsernameAndPassword(String username, String password){ JPAQueryFactory jqf = new JPAQueryFactory(em); QUser user = QUser.user; List userList = jpf ...
테이블 객체 만들기 실제 데이터베이스 테이블과 매핑되는 Java 객체를 생성하는 방법 Entity 코드 정리Intellij Live Template 사용 추천-> Settings > Editor > Live Templates User Entity 만들어보기 - id, username, password 를 가지는 User Entity를 만들면// User.java// lombok@Getter@NoArgsConstructor(access = AccessLevel.PROTECTED)@ToString// jpa@Entity@Table(name = "users")public class User { /** * 컬럼 - 연관관계 컬럼을 제외한 컬럼을 정의합니다. */ @Id @GeneratedValue(strategy = ..