신규 AI 도구 소개

Genie Code — Databricks 내장 AI 에이전트

별도 도구 설치 없이, Databricks 노트북에서 Cmd+I로 바로 사용

AI Dev Kit — 로컬 AI 도구에 Databricks 능력 부여

Claude Code, Cursor 등에서 MCP Server(50+ 도구) + Skills(19개 패턴)

세 가지 학습 트랙

세 트랙을 섞어서 진행해도 OK!

Track B — 간단 버전 프롬프트

Claude Code에 아래 문장을 그대로 붙여넣기하면 AI가 자동 실행

더 정확한 결과가 필요하면 상세 버전 프롬프트 사용 → PROMPT_DETAILED.md

Track B — 상세 버전 프롬프트 (예시)

컬럼명, 건수, 분포 규칙, 제약 사항까지 구체적으로 지정

Smart TV 시나리오의 가상 데이터를 만들어줘.
카탈로그: current_user() 기반 동적 생성

bronze.devices (10,000건):
- model_name: OLED65C4 등 10개, region: Korea(25%) 등 8개
- has_fasttv: 80% true, price_tier: OLED→premium

bronze.viewing_logs (500,000건):
- 시간대별 현실적 분포: 평일 저녁 60% 집중
- duration: 로그정규분포 평균 45분, max 240분

각 테이블 생성 후 통계 확인, 참조 무결성 검증 포함.

오늘의 여정

시나리오: Smart TV 데이터 플랫폼

비즈니스 목표

• 광고 수익 극대화 (FastTV)
• 시청 데이터 기반 개인화 추천
• 실시간 이벤트 분석
• AI 기반 고객 지원 자동화

데이터 소스 (170만건+)

AI Dev Kit — 설치 3단계

설치 후 claude 실행 → "시청 로그 테이블 만들어줘" → 자동 실행

Unity Catalog & Delta Lake

3단계 네임스페이스: Catalog > Schema > Table

Delta Lake — 왜 필요한가?

방법 1: CTAS — SQL 한 문장으로 변환

가장 직관적인 ETL. SQL만 알면 파이프라인 구축 가능

CREATE OR REPLACE TABLE silver.devices_ctas AS
SELECT device_id, UPPER(model_name) AS model_name,
       CASE WHEN model_name LIKE 'OLED%' THEN 'premium'
            WHEN model_name LIKE 'QNED%' THEN 'mid'
            ELSE 'entry' END AS price_tier
FROM bronze.devices WHERE device_id IS NOT NULL;

• OR REPLACE로 재실행해도 멱등성 보장
• 익숙한 SQL: JOIN, GROUP BY, 윈도우 함수 그대로
• 한계: 매번 전체 재계산, 증분 처리 불가, 의존성 수동 관리

방법 2: SDP — 선언적 파이프라인

"무엇을 만들 것인가"만 선언 → 실행 방식은 엔진이 자동 결정

from pyspark import pipelines as dp

@dp.table(name="devices_sdp")
@dp.expect_or_fail("valid_id", "device_id IS NOT NULL")
def devices_sdp():
    return spark.read.table("bronze.devices")
           .withColumn("price_tier", ...)

• 자동 의존성 해결: spark.read.table()만 쓰면 순서 자동 감지
• 증분 처리: 새로 추가된 데이터만 처리 (10~100x 빠름)
• Expectations 내장: @dp.expect로 데이터 품질 검증

CTAS vs SDP — 핵심 차이

AI/BI Dashboard — 10+ 차트 유형

핵심: "이런 것도 표현할 수 있다"를 보여주는 것이 목표!

Genie Space — 자연어로 데이터 탐색

비즈니스 사용자가 SQL 없이 자연어 질문만으로 데이터를 탐색

사용자: "이번 달 인기 콘텐츠 Top 10은?"
Genie:  SELECT channel_or_app, SUM(daily_unique_viewers) AS total
        FROM gold.content_rankings
        WHERE viewing_date >= DATE_ADD(current_date(), -30)
        GROUP BY 1 ORDER BY 2 DESC LIMIT 10;

Genie Space — 15개 비즈니스 질문 실습

End-to-End 실시간 흐름

Auto Loader 핵심 장점

• 새 파일 자동 감지 (폴링 불필요)
• 스키마 추론 + 진화 자동 처리
• Exactly-once 보장 (체크포인트)

MLOps 파이프라인 — End-to-End

Feature Store — Offline vs Online

왜 Feature Store인가?

• 피처 중복 방지: 한번 정의 → 모든 팀이 재사용
• 학습/서빙 일관성: 동일 피처 정의로 skew 방지
• 리니지 추적: "이 모델은 어떤 피처로 학습되었는가?"

Agent Bricks란? — AI 에이전트를 쉽게 만드는 프레임워크

"코드 없이(또는 최소 코드로) 엔터프라이즈 AI 에이전트를 구축"

핵심 3가지 구성 요소

기존 챗봇과 뭐가 다른가?

• 자연어 피드백만으로 품질 자동 개선 (ALHF)
• Unity Catalog 거버넌스 상속 (에이전트도 권한 준수)
• 멀티 에이전트 조합: 하나의 질문에 여러 도구 활용

Knowledge Assistant — 문서 기반 Q&A

작동 원리 (RAG: Retrieval-Augmented Generation)

사용자: "FastTV에서 무료 채널 뭐 있어?"
         │
    ① 질문을 벡터로 변환 (임베딩)
    ② UC Volume의 문서에서 관련 부분 검색
    ③ 검색된 문서 조각 + 질문을 LLM에게 전달
    ④ 문서 기반 답변 생성 (환각 방지)
         │
답변: "FastTV에서는 뉴스(YTN, MBN), 스포츠,
       영화, 키즈 등 100개+ 무료 채널을 제공합니다..."

만드는 방법

1. UC Volume에 가이드 문서 업로드 (마크다운, PDF)
2. Agent Bricks UI에서 KA 생성 (문서 자동 인덱싱)
3. Instructions 설정 (한국어 답변, 환각 방지 규칙)

Genie Space — SQL 데이터 탐색 에이전트

작동 원리

사용자: "이번 주 광고 수익 Top 5 지역은?"
         │
    ① 자연어를 SQL로 자동 변환
    ② Gold 테이블에서 쿼리 실행
    ③ 결과를 비즈니스 관점으로 해석
         │
답변: "1위 Korea $1,234, 2위 US $987..."
      + 시각화 차트 제안

KA와의 차이

Supervisor Agent — 모든 것을 하나로 통합

핵심 아이디어: "하나의 입구, 여러 전문가"

사용자는 하나의 챗봇에만 질문하면 됨
Supervisor가 질문을 분석하여 최적의 전문가에게 자동 라우팅

           사용자 질문
               │
        ┌──────┴──────┐
        │  Supervisor  │  ← "이 질문은 어디로 보내야 할까?"
        └──────┬──────┘
    ┌──────┬───┴───┬──────┐
    │      │       │      │
   KA    Genie   UC함수  UC함수
 (문서)  (SQL)  (광고분석) (설정변경)

라우팅 규칙 예시

Supervisor + Lakebase — 운영까지 연결

왜 Lakebase가 필요한가?

Supervisor Agent가 Delta Lake(분석) 뿐만 아니라
**Lakebase(운영 DB)**도 읽고 쓸 수 있으면 → 실제 서비스 가능

시나리오: "맞춤형 광고 꺼줘"

→ Supervisor → KA: "설정 방법은..." (안내)
            → UC Function: Lakebase UPDATE (실행)

Apps + Lakebase — 운영 레이어

조합: ML 결과를 Lakebase에 캐싱 → App에서 밀리초 응답

전체 아키텍처 요약

스마트TV 로그 → Volume → Auto Loader → SDP Pipeline
                                       Bronze → Silver → Gold
                                             │
               ┌─────────────────────────────┼──────────────────────┐
               │                             │                      │
         AI/BI Dashboard              ML Pipeline             Agent Bricks
         + Genie Space          Feature Store → LightGBM    Supervisor Agent
               │                  MLflow → Serving           ┌─────┼─────┐
               │                       │                     KA  Genie  UC Func
               └───────────────────────┼─────────────────────────┘
                                       │
                              Databricks Apps + Lakebase

오늘 체험한 Databricks 기능

다음 단계

바로 적용할 수 있는 것

1. Genie Code로 기존 데이터에 대시보드 만들기 (설치 불필요)
2. AI Dev Kit으로 파이프라인 자동화 (Claude Code / Cursor)
3. Genie Space로 팀원들 자연어 데이터 탐색
4. Agent Bricks로 고객 지원 챗봇 구축

참고 자료

• AI Dev Kit
• Genie Code
• Agent Bricks