Back-end/DB2 ET(C)L : 데이터 추출, 변환, (정제,) 적재 ETL은 꽤나 오래전 구현된 기술이지만 특정 상황이 아니면 사용할 이유가 없는 것이 대부분이다. 이번에 이직한 회사에서는 여러 시스템에 있는 DB에 접근하여 하나의 표준 DB로 데이터를 몰아 넣고 이를 적절한 형태로 정제하여 API로 데이터를 넘겨주는 업무를 하고 있어서 ETL을 사용할 기회가 있어 공부한 내용을 아는 범위 내에서 적어보려 한다. ETL이란 기능의 앞글자만 딴 줄임말로 E : Extraction (추출) T : Transformation (변환) L : Loading (적재) 을 뜻한다. 말그대로 원본 DB에 접근하여 데이터를 추출하고 적절한 형태로 변환하여 새로운 DB에 쌓는 기능을 뜻한다. 여기에 특정 업무에서는 Cleansing(정제) 과정이 들어간다고 하지만 이번에 맡은 업무에서는.. 2023. 1. 6. Redis란 무엇일까 이전에도 얼핏 레디스라는 용어를 들어본 적이 있었는데, 오늘 우연히 또한번 Redis에 대해서 듣게 되어 정리를 해서 알아두려고 한다. 결론부터 말하면 Redis는 key:value 형식의 NoSQL DB이다. Redis는 쉽게 생각해서 소스 내에 위치한 자그마한 DataBase라고 생각해도 될 것 같다. 소스 내에 존재하는 DB가 있다고 생각해보면 IO작업을 하지 않아도 되고 그만큼 비용과 시간을 아낄 수 있는 장점이 있다. 기존의 RDBMS(관계형 데이터 베이스)와 무슨 차이가 있는지를 알아보기 위해 NoSQL과 RDBMS의 차이에 대해서 정리해둔 표를 가져왔다. NoSQL RDBMS 적합한 환경 : 대규모 데이터, 관련 없는 데이터, 확정되지 않은 데이터 또는 빠르게 변화하는 데이터의 처리 스키마 .. 2021. 12. 7. 이전 1 다음
