Brute force Study

Motivation매우 대량의 데이터 수집웹, 소셜 미디어, 최근에는 사물인터넷의 성장에 의해 주도됨웹 로그는 초기 데이터 소스였음웹 로그에 대한 분석은 광고, 웹 사이트 구조화, 사용자에게 표시할 게시물 등에 큰 가치를 가짐빅 데이터: 이전 세대 데이터베이스와 구별됨볼륨: 저장된 데이터의 양이 훨씬 큼속도: 삽입 속도가 훨씬 높음다양성: 관계형 데이터를 넘어 다양한 유형의 데이터 포함Querying Big Data매우 높은 scalability(확장성)이 필요한 트랜잭션 처리 시스템많은 애플리케이션이 매우 높은 확장성을 얻을 수 있다면 ACID 속성 및 기타 데이터베이스 기능을 기꺼이 포기함매우 높은 확장성과 비관계형 데이터를 지원해야 하는 쿼리 처리 시스템Big Data Storage Systems데..

TransactionTransaction은 여러 데이터 항목을 액세스하고 업데이트할 수 있는 프로그램 실행 단위(Unit)입니다.예: 계정 A에서 계정 B로 $50을 이체하는 Transaction:read(A)A := A - 50write(A)read(B)B := B + 50write(B)처리해야 할 두 가지 주요 문제:하드웨어 고장 및 시스템 충돌과 같은 다양한 종류의 failure(드뭄)여러 Transaction의 동시 실행(자주 발생)Example of Fund TransferAtomicity requirementTransaction이 3단계 후에 failure하고 6단계 전에 failure하면 돈이 "잃어버린" 상태가 되어 일관성이 없는 데이터베이스 상태가 됩니다.failure는 소프트웨어 또는 ..

File OrganizationFrom MySQL to InnoDBFunction callsFrom InnoDB to LinuxSystem callFrom Linux to File SystemExt4_file_Write_iterFrom File System to HDDSATA_commands 데이터베이스는 파일의 모음으로 저장됨 각 파일은 records의 sequence각 파일은 하나 이상의 페이지로 구성됨각 페이지는 하나 이상의 레코드를 포함함레코드는 필드의 시퀀스하나의 접근 방법레코드 크기가 고정되어 있다고 가정각 파일은 하나의 특정 유형의 레코드만 포함서로 다른 Relation을 위해 서로 다른 파일 사용레코드는 디스크 블록보다 작다고 가정한다.Fixed-Length Records간단한 접근 방법각..

데이터베이스는 본질적으로 data storage system입니다  물리적 저장 매체의 분류Volatile storage: 전원이 꺼지면 내용이 손실됨non-safeex) memoryNon-volatile storage:전원이 꺼져도 내용이 지속됨2차 및 3차 storage 포함, 배터리 백업된 main-memory 포함저장 매체 선택에 영향을 미치는 요소:데이터 접근 속도데이터 단위당 비용reliability(신뢰성)Storage HierarchyPrimary storage: 가장 빠른 매체지만 volatile (cache, main memory)Secondary storage: 다음 계층, non-volatile, 적당히 빠른 접근 시간on-line storage라고도 함예: flash memory,..

Database Management System (DBMS)데이터베이스 관리 시스템(DBMS)은 데이터베이스를 생성하고 관리하는 시스템 소프트웨어입니다.DBMS는 사용자와 프로그래머에게 데이터를 생성, 검색, 업데이트 및 관리하는 체계적인 방법을 제공합니다.DBMS는 최종 사용자가 데이터베이스에서 데이터를 생성, 읽기, 업데이트 및 삭제(Create, Read, Update, Delete, 줄여서 CRUD라고 함)할 수 있게 합니다.DBMS는 본질적으로 데이터베이스와 최종 사용자 또는 응용 프로그램 간의 인터페이스 역할을 하여 데이터가 일관되게 조직되고 쉽게 접근할 수 있도록 보장합니다.사용자 데이터베이스를 생성, 유지 관리 및 접근을 제공하는 소프트웨어 시스템입니다.DBMS는 OS가 hardware r..