DB

[DB] 데이터 플랫폼 사업단의 Data 이야기

회사에서 진행하는 사내 기술 세미나를 참석하게 되어 이를 정리하기로 하였다. 2022년 가트너의 IT 전략 기술 트렌드 성장 가속 부문 제너레이티브 AI : 제너레이티브 AI는 텍스트 설명을 기반으로 이미지를 생성하는 인공지능 프로그램입니다. 오토노믹 시스템 : 주위 환경에 맞춰 스스로 관리하는 시스템이다. 변화 형성 부문 컴포저블 애플리케이션 : 비즈니스 중심의 모듈식 컴포넌트로 구성되어 있는 어플리케이션을 뜻한다. 의사결정 인텔리전스 : 상황에 따라 스스로 일을 결정해 처리함으로써 결정을 돕는 인공지능이다. 신뢰 구축 부문 데이터 패브릭 : 분산 데이터에 대한 액세스를 최적화하고 데이터 소비자에게 셀프 서비스 제공을 위해 지능적으로 큐레이션 및 오케스트레이션 할 수 있는 데이터 관리 아키텍처이다. 사..

[DB] 동시성 이슈(Concurrency Issue)

동시성(Concurrency) 동시성은 운영체제에서 사용되는 용어로 동시에 실행되는 것처럼 보이는 것으로 논리적인 개념으로 싱글코어와 멀티코어에서 가능하다. 해당 글에서 사용되는 DB에서의 여러개의 스레드(요청)이 동시에 같은 주소의 값(데이터)을 참조하여 접근 및 수정하는 것을 의미한다. 예를들어, 트랜젝션 A가 알렉스라는 이름을 읽고 트랜젝션 B가 밥을 추가해 같은 트랜젝션에서 1번의 리드와 3번의 리드가 다른 것을 확인한다. 유령 레코드가 나타나는 현상으로 이를 팬텀리드(Phantom Read)라 한다. 일반적으로 문제 해결 방식에는 두 가지 방법이 존재한다. 1. 비관적 동시성 제어 데이터를 비관적으로 바라보며 다른 요청에 의해서 수정될 가능성을 염두하여 Lock을 거는 방식이다. 데이터베이스의 ..

서울시 심야버스 데이터 의사결정 사례

서울시는 심야 버스에 노선에 대한 최적화를 KT와 MOU를 통해 휴대전화 이력 데이터에서 유동인구 통계 정보를 바탕으로 노선을 정하였다. 서울시의 데이터 마이닝 기법은 이렇다. 우선, 서울시를 1km 반경의 1,250개 헥사셀 단위로 구분을 통해 한달 동안의 KT 휴대전화 이력 데이터로 오전 0시부터 5시 통화량을 분석을 통해 구역별 유동신우. 밀집도를 분석하고 이를 헥사셀 단위로 시각화하였다. 유동인구 밀집도 분석을 통해 기존 노선의 시간/요일별 패턴을 분석하고, 노선 부근의 유동인구 통계로 가중치를 계산하여, 노선을 최적화한다. 또한, 서울시는 유동인구 데이터를 기반으로 정류장 단위로 통행량을 추정하고 통행량을 선의 굵기로 표현하여 헥사셀로 구분된 맵에 시각화함으로써 최종적으로 요일별 배차간격을 조정..

[합격후기] SQLD 전공자 합격후기 (자격증, 공부법, 꿀팁 정리)

37회 2020년 5월 30일에 진행된 SQLD 자격증 시험에 합격했습니다. 자격증, 공부법 및 꿀팁을 정리하겠습니다. ​ SQLD는 합격기준 세부 문항 한 문제당 2점입니다. ​ 시험시간은 90분이고 먼저 다 푸신 분은 시험 시작 30분 후부터 퇴실 가능합니다. ​ ​ ​ 시험결과 시험결과 확인이 2시부터였는데 2시되니까 서버가 터져서 1시간이 지난 후에나 확인했습니다. ​ 전공자라서 내용은 대충 알 거라 생각하고 그냥 문제부터 샀지만 내가 아는 부분은 극히 일부였다... 그래서 내용 정리하는데 은근 오래 걸렸습니다. 이제 본격적으로 공부법을 정리하겠습니다. ​ SQLD 자격증 대비 공부법 1.SQL 자격검정 실전문제 꼭 풀어볼 것! SQL 자격검정 실전문제 SQL 자격검정 실전문제는 국가공인 SQL ..