hyejun CSlog

[머신러닝] EPOCH_Kaggle 1주차

[4개의 정답이 모두 마지막 4개일 때]#Prediction (예측결과)0 0 0 1 1 1 1#Precicion (예측의 정확도)0 0 0 1/4 2/5 3/6 4/7#Average Precision (예측 정확도의 평균)(1/1 + 2/2 + 3/3 + 4/4) / 4 = 1.002.1 경진대회 소개산탄데르 은행은 고객 맞춤형 제품 추천 제공소수 고객에게만 다양한 추천 제공, 나머지 고객에게는 제품추천기회가 적어 불균등한 고객경험으로 이어진다. 고객의 과거 이력과 유사한 고객군들의 데이터를 기반으로 다음달에 해당 고객이 무슨 제품을 사용할지 예측하는 문제 준비더 효과적인 추천시스템을 갖추게 된다면 산탄데르는 고객이 인생의 어느 단계에 있든 모든 고객의 개인적 필요에 알맞는 제품을 추천하여 그들을 만족..

1. Kaggle이란 무엇인가캐글은 데이터 분석 경진대회 주최 플랫폼. 경진대회는 회사의 연구과제,주요 서비스를 위해 분석이 필요한 데이터를 제공해서 주최하는 것이 일반적.인공지능, 머신러닝 붐 -> 참가자 증가 -> Alphabet의 인수 -> Kaggle은 단순 플랫폼이 아닌 데이터사이언티스트, 엔지니어들에게 매우 중요한 사이트가 되었다.Kaggle의 사용자: Kaggler / Kaggle에서 활동하거나 Competition에 참가하는 것 : Kaggling파이썬, 머신러닝, 시각화 등의 실무, 실용적 강의 제공. 모든 강의는 영어, 무료, 수료증 제공프로그래밍 언어: 일반적으로 python과 R필요한 지식: python, 데이터분석, 영어2. Kaggle은 어떻게 활용되는가데이터 분석을 위한 인프라..

6.1 링크계층 소개e2e 통신경로를 구성하는 개별 링크를 통해 패킷이 어떻게 전송되는가?source host -> 목적지 host까지 쭉 데이터그램이 가는 일이 이루어짐네트워크 게층에서는 링크 하나 건너가는 일을 담당해주는 링크계층 서비스 이용해서 목적지-source까지 여러개의 링크를 쭉 건너가서 도달하는 일을 해줌링크계층 용어호스트 및 라우터 -> 노드통신경로를 따라 연결된 노드 -> 링크유선링크무선링크layer-2 packet: 데이터그램 링크계층을 캡슐화하는 "frame" - link 계층 PDU, IP datagram -> frame으로 encapsulate.+네트워크 계층의 PDU: datagram링크계층은 링크를 통해 한 노드에서 물리적으로 인접한 노드로 데이터그램을 전송하는 역할 담당링크..

5.5 소프트웨어 정의 네트워크(SDN) 제어 평면Traditional Internet: Per-router control plane인터넷 네트워크 레이어: 역사적으로 라우터별 분산 접근방식을 통해 구현됨monolithic(단일시스템, 모든 기능이 한 덩어리로 설계) 라우터는 스위칭 하드웨어(ex. cisco 회사 -> 회사에 특정한 운영체제 설치)를 포함하고, 전용라우터 OS(예: Cisco IOS)에서 인터넷 표준 프로토콜(IP, RIP, IS-IS, OSPF, BGP)의 독점적 구현 실행인터넷 프로토콜들이 전부 open, 이런 표준 프로토콜들을 자기네들이 독점적인 구현 탑재라우터, 운영체제, 라우터컨트롤하는 모든 프로토콜 :  단일시스템적으로 한 박스로 제품으로 라우터장비로  만들어짐 -> 라우터에..

5.1 개요메모리를 통한 스위칭1세대 라우터CPU가 직접 스위칭을 제어하는 기존 컴퓨터패킷이 시스템 메모리로 복사메모리 대역폭에 의해 속도가 제한(데이터그램 당 2개의 BUS 크로싱)버스를 통한 스위칭공유버스를 통해 입력포트 메모리에서 출력포트 메모리로 데이터그램 전송BUS contention(버스 경합): 버스 대역포에 의해 스위칭 속도가 제한됨32gbps bus, Cisco 5600: 액세스 및 enterprise 라우터에 충분한 속도 제공Q. 2400바이트의 데이터그램을 700바이트의 MTU를 가진 링크로 전송한다고 가정해보자. 원본 데이터그램에 식별번호 422가 찍혀있다고 가정하자 .몇 개의 조각영역이 생성될까? 조각화와 관련하여 생성된 IP 데이터그램의 다양한 필드값은 무엇인가?A.각 조각의 데..

4.3 인터넷 프로토콜(IP) : IPv4, 주소체계, IPv6 등IPv4 fragmentation, reassembly네트워크 링크에는 링크 수준 프레임이 전송할 수 있는 최대 데이터 양인 MTU(최대 전송단위) 가 있다.경로에 따라 다른 링크유형 , 다른 MTU라우터에서 대용량 IP 데이터그램 분할('fragment')하나의 데이터그램 -> 여러 개의 데이터그램(조각)'IP header'을 사용하여 전송 계층에 도달하기 전에 router가 아닌 최종 목적지 "host"에서만 재조립됨.IP헤더비트는 관련 조각 식별, 순서 지정에 사용IP4 fragmentation at routerQ. MTU가 700바이트인 링크로 2400바이트의 데이터그램을 전송한다고 가정해보자. 원본 데이터그램에 식별번호 422가 ..

14.1 해싱이란?선형탐색이나 이진탐색은 모두 키를 저장된 키값과 반복적으로 비교함으로써 탐색하고자 하는 항목에 접근-> 최대 가능한 시간 복잡도가 O(로그n)에 그친다. 어떤 응용에서는 더 빠른 탐색 알고리즘 요구해싱은 O(1)의 시간 안에 탐색 끝마칠수도 있다.키에 산술적인 연산 적용 -> 항목이 저장돼있는 테이블의 주소를 계산한여 항목에 접근. 해시테이블: 키에 대한 연산에 의해 직접 접근 가능한 구조해싱: 해시테이블 이용한 탐색14.2 추상자료형 사전사전 : (키,값)쌍의 집합. 키와 관련된 값을 동시에 저장하는 자료구조. (키,값)쌍을 저장할 수도 있고 삭제할수도 있으며 키를 가지고 값을 검색할 수 있다. map이나 table로 불리기도 한다.키 : 사전의 단어처럼 항목과 항목을 구별시켜주는 것..

*시험 : 교재문제+ 교수님이 올려주신 기출문제13.1 탐색이란? 탐색: 기본적으로 여러 개의 자료 중 원하는 자료를 찾는 작업- 탐색키와 데이터로 이루어진 여러 개의 항목 중 원하는 탐색키 갖고 있는 항목 찾는 것사용되는 자료구조 : 배열, 연결리스트, 트리, 그래프 .......가장 기초적인 방법: 배열 사용하여 자료 저장하고 찾기, but 탐색성능을 향상하고자 한다: 이진트리처럼 보다 진보된 방법으로 자료를 저장하고 찾아야 한다.탐색의 단위 : 항목(숫자 or 구조체...) - 항목과 항목을 구별시켜주는 탐색키 존재 13.2 정렬되지 않은 배열에서의 탐색순차탐색 : 탐색 방법 중 가장 간단하고 직접적인 탐색방법. 정렬되지 않은 배열의 항목들을 처음부터 마지막까지 하나씩 검사하여 원하는 항목 찾기탐색..

* 챕터목표 : data plane을 중심으로 network layer service의 원리 이해 4.1 네트워크 계층 개요network layer service models (transport 계층의 서비스 모델은 p2p, client-server가 있었다.)forwarding 대 routing (네트워크 계층의 핵심기능-transport 계층의 mux, demux처럼-여러개의 기능: flow control, congestion control, reliable data transfer... *transport 계층은 end system에만 올라가는 protocal 계층. network 계층부터는 network core의 router에도 탑재가 되게 되는 프로토콜 )라우터(network core에 있는 ..

12.1 정렬이란?정렬: 물건을 크기순으로 오름차순이나 내림차순으로 나열하는 것정렬시켜야 될 대상: 레코드, 레코드는 필드라는 단위로 나뉘어진다.키: 레코드와 레코드를 식별해주는 역할을 하는 필드 = 레코드들을 키값의 순서로 재배열최적 알고리즘은 존재하지 않으므로 이들 방법 중에서 현재 환경에서 가장 효율적인 정렬 알고리즘을 선택해야 한다.효율성의 기준: 정렬 위해 필요한 비교연산의 횟수와 이동연산의 횟수(빅오표기법 이용)횟수는 자료의 초기화 여부에 의존적, 이동횟수와 비교횟수가 서로 비례하지 x숫자와 숫자 비교는 시간 별로 안 걸림, 문자열과 문자열 비교하는 것은 상당히 시간 걸림, 숫자이동보다 큰 구조체 이동하려면 많은 시간 걸림 > 잘 맞춰서 적절한 정렬 알고리즘 선택해야 함.정렬 알고리즘의 효율성..