Databricks on AWS — 전체 아키텍처

Control Plane + Compute Plane 분리 구조

Control Plane vs Compute Plane

두 영역의 역할과 위치

Classic vs Serverless Workspace

두 가지 컴퓨팅 모드 비교

Serverless Workspace 아키텍처

Databricks가 관리하는 Compute Plane

Workspace 구성에 필요한 AWS 리소스

Classic Workspace 기준 — 고객이 준비해야 할 것

PrivateLink 아키텍처 — Backend

Compute Plane → Control Plane 프라이빗 연결

PrivateLink 아키텍처 — Frontend

사용자 → Workspace 프라이빗 접근

구성 단계 전체 흐름

AWS Console + Databricks Account Console 매핑

AWS Marketplace 구독 절차

AWS Console에서 수동으로 진행

Step 1 — Marketplace 접속

• AWS Marketplace에서 "Databricks" 검색
• 또는 직접 접속: aws.amazon.com/marketplace → Databricks Data Intelligence Platform

Step 2 — 구독 및 계정 생성

1. "Subscribe" 클릭 → EULA 동의
2. "Set up your account" → Databricks 등록 페이지로 리다이렉트
3. 회사명, 이메일, 비밀번호 입력 → 계정 생성 완료
4. AWS Marketplace로 돌아와 "Continue to Databricks" 클릭

Step 3 — 결과

• Databricks Account 생성 + AWS Marketplace 과금 연결
• Serverless Workspace 즉시 사용 가능

Marketplace vs Direct 계약

고객 상황에 따른 최적 선택

기존 계정에 Marketplace 연결

이미 Databricks 계정이 있는 경우

연결 절차

1. Databricks Account Console 로그인
2. Settings → Subscription & billing
3. "Add payment method" → AWS Marketplace account 선택
4. AWS Marketplace로 리다이렉트 → 구독 완료
5. 메뉴에서 "Set to primary payment method" 선택

주의사항

사전 준비 체크리스트

구성 시작 전 반드시 확인

AWS 계정 요구사항

• IAM Role, S3, VPC 생성 권한 보유
• STS 엔드포인트: us-west-2 리전 활성화 필수 (배포 리전과 무관)
• SCP: sts:AssumeRole 허용 확인

Databricks 계정 요구사항

• Account Admin 권한
• Enterprise 티어 (PrivateLink 사용 시 필수)

Databricks AWS Account ID (IAM Trust 설정용)

Cross-Account IAM Role — 개요

Databricks가 고객 AWS 계정에 EC2를 프로비저닝하기 위한 역할

AWS Console 작업 순서

1. IAM → Roles → Create role 에서 Cross-Account Role 생성
2. Trust Policy 설정 (Databricks AWS 계정 신뢰)
3. Permission Policy 부여 (EC2/VPC 관련 권한)
4. Account Console → Cloud resources → Credential configuration → Add 에서 Role ARN 등록

Cross-Account IAM Role — Policy 유형

고객 VPC 관리 방식에 따라 3가지 정책

Cross-Account IAM Role — Trust Policy

IAM → Roles → Trust relationships 에서 설정

{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Principal": { "AWS": "arn:aws:iam::414351767826:root" },
    "Action": "sts:AssumeRole",
    "Condition": {
      "StringEquals": { "sts:ExternalId": "<YOUR-DATABRICKS-ACCOUNT-ID>" }
    }
  }]
}

Cross-Account IAM Role — Permission Policy

customer 타입 주요 권한 (Customer-Managed VPC용)

EC2 관련 Actions

• ec2:RunInstances, TerminateInstances, DescribeInstances, DescribeVolumes
• ec2:CreateVolume, DeleteVolume, AttachVolume, DetachVolume
• ec2:CreateTags, DeleteTags, DescribeSubnets, DescribeSecurityGroups
• ec2:RequestSpotInstances, CancelSpotInstanceRequests, DescribeSpotPriceHistory

Spot Service-Linked Role

• iam:CreateServiceLinkedRole, iam:PutRolePolicy on AWSServiceRoleForEC2Spot

Credential 등록 — Account Console

Databricks Account Console에서 등록

절차

1. accounts.cloud.databricks.com 로그인
2. 좌측 메뉴: Cloud resources → Credential configuration 탭
3. Add credential configuration 클릭
4. 입력:
   • Credential configuration name: 식별 이름 (예: prod-crossaccount-cred)
   • Role ARN: 위에서 생성한 IAM Role ARN (예: arn:aws:iam::123456789012:role/databricks-crossaccount)
5. Add 클릭

결과

• Credential ID 생성됨 → Workspace 생성 시 사용

Root S3 Bucket — 생성 요건

AWS Console → S3 → Create bucket

필수 설정

Root S3 Bucket — Bucket Policy

S3 → Bucket → Permissions → Bucket policy 에서 설정

{
  "Sid": "Grant Databricks Access",
  "Effect": "Allow",
  "Principal": { "AWS": "arn:aws:iam::414351767826:root" },
  "Action": [
    "s3:GetObject", "s3:GetObjectVersion", "s3:PutObject",
    "s3:DeleteObject", "s3:ListBucket", "s3:GetBucketLocation"
  ],
  "Resource": ["arn:aws:s3:::<BUCKET>/*", "arn:aws:s3:::<BUCKET>"],
  "Condition": {
    "StringEquals": {
      "aws:PrincipalTag/DatabricksAccountId": ["<ACCOUNT-ID>"]
    }
  }
}

Storage 등록 — Account Console

Databricks Account Console에서 등록

절차

1. accounts.cloud.databricks.com 로그인
2. 좌측 메뉴: Cloud resources → Storage configuration 탭
3. Add storage configuration 클릭
4. 입력:
   • Storage configuration name: 식별 이름 (예: prod-root-storage)
   • Bucket name: S3 Bucket 이름 (ARN 아님, 이름만)
5. Add 클릭

결과

• Storage Configuration ID 생성됨 → Workspace 생성 시 사용

VPC 생성 — 요구사항

AWS Console → VPC → Create VPC

Subnet 구성

VPC — Security Group 규칙

AWS Console → VPC → Security Groups → Create

Security Group — 필수 규칙

AWS Console → VPC → Security Groups → Create security group

Egress (아웃바운드) 규칙

Ingress (인바운드) 규칙

권장 AWS Service VPC Endpoints

AWS Console → VPC → Endpoints → Create endpoint

• S3 Gateway: Route Table에 연결 (Private Subnet의 Route Table)
• STS/Kinesis Interface: Private Subnet에 배치, Security Group 필요 (443 inbound)

Network ACL 설정

AWS Console → VPC → Network ACLs

Inbound Rules

Outbound Rules

Network 등록 — 사전 조건

Security → Networking → Classic network configurations

입력 항목 요약

Network 등록 — 절차

Security → Networking → Classic network configurations

1. Add network configuration 클릭
2. 이전 슬라이드의 항목 입력 + VPC Endpoints 지정
3. Add → Network ID 생성됨 → Workspace 생성 시 사용

PrivateLink 개요

Backend vs Frontend 비교

ap-northeast-2 (서울) VPC Endpoint Service Names

이 값으로 AWS VPC Endpoint를 생성합니다

Workspace (REST API) Endpoint

com.amazonaws.vpce.ap-northeast-2.vpce-svc-0babb9bde64f34d7e

SCC Relay Endpoint

com.amazonaws.vpce.ap-northeast-2.vpce-svc-0dc0e98a5800db5c4

전체 리전 VPC Endpoint Service Names

모든 리전 — 복사용 참조표

Backend — Step 1: VPC Endpoint Subnet 생성

AWS Console → VPC → Subnets → Create subnet

요구사항

Route Table 설정

• 새 Route Table 생성 → VPC Endpoint Subnet에 연결
• Local route만 유지 — NAT GW route 추가하지 않음

Backend — Step 2: VPC Endpoint Security Group

AWS Console → VPC → Security Groups → Create

규칙 — 양방향 TCP 포트 443, 2443, 6666

Inbound Rules:

Outbound Rules:

Backend — Step 3: AWS VPC Endpoint 생성

AWS Console → VPC → Endpoints → Create endpoint (x2)

Endpoint 1: Workspace (REST API)

Endpoint 2: SCC Relay

Backend — Step 4: Databricks에 VPC Endpoint 등록

Account Console → Security → Networking → VPC endpoints

절차 (2회 반복 — REST API, Relay 각각)

1. Security → Networking → VPC endpoints → Register VPC endpoint
2. 입력:
   • VPC endpoint name: 식별 이름 (예: prod-rest-vpce, prod-relay-vpce)
   • VPC endpoint ID: vpce-xxxxxxxx (AWS에서 생성한 ID)
   • Region: ap-northeast-2
3. Register 클릭

이후: Network Configuration 생성 시 연결

• VPC Endpoint 등록 완료 후 → PART 5의 Network 등록 단계에서 Network Configuration 생성 시 VPC Endpoint를 지정
• Network Configuration 생성 화면에서 REST API / Dataplane relay Endpoint 선택

Backend — Step 5: Private Access Settings

Account Console → Security → Networking → Private access settings

설정

1. Add private access settings 클릭
2. 입력:
   • Name: 식별 이름
   • Region: ap-northeast-2
   • Public access: 단계적 전환 권장

접근 수준 옵션

기존 Workspace에 PrivateLink 적용

이미 운영 중인 Workspace에 PrivateLink를 추가하는 절차

전체 순서

1. VPC Endpoint 생성 — AWS Console에서 REST API + SCC Relay Endpoint 생성
2. Databricks 등록 — Account Console → VPC endpoints에 등록
3. 새 Network Config 생성 — VPC Endpoint를 포함한 Network Configuration 생성
4. Workspace 업데이트 — 기존 Workspace의 Network Configuration을 새 것으로 변경

기존 Workspace — 네트워크 변경 절차

Account Console → Workspaces → 해당 Workspace 클릭

변경 절차

1. Account Console → Workspaces 메뉴에서 대상 Workspace 클릭
2. Update 버튼 클릭
3. Network configuration 항목에서 새 Network Config 선택 (PrivateLink VPC Endpoint 포함)
4. Private access settings도 함께 지정
5. Confirm update → 프로비저닝 시작 (~5-10분)

확인 사항

Frontend PrivateLink — 왜 필요한가?

사용자 → Workspace 접근을 프라이빗하게

Frontend — Backend과의 차이점

구성 요소 비교

Single VPC vs Dual VPC

Frontend — Step 1: Transit VPC 생성

Transit VPC + Security Group

Frontend — Step 1b: VPC Endpoint 생성

AWS Console → VPC → Endpoints → Create endpoint

Frontend — Step 2: Databricks 등록

Account Console에서 등록

VPC Endpoint 등록

1. Security → Networking → VPC endpoints → Register VPC endpoint
2. 입력:
   • VPC endpoint name: prod-frontend-rest-vpce
   • VPC endpoint ID: Transit VPC의 vpce-xxxxxxxx
   • Region: ap-northeast-2
3. Register 클릭

Private Access Settings — Allowed Endpoints 추가

• Frontend Endpoint도 Allowed VPC endpoint IDs에 추가 필요
• Public access = Disabled 전환 시 Backend + Frontend 모두 등록

Frontend — Step 3: Route 53 DNS 구성

Route 53 → Hosted zones → Create hosted zone (Private)

A Record (Alias) 추가

DNS 흐름: <ws>.cloud.databricks.com → Private Hosted Zone → Endpoint Private IP

Frontend — Step 4: Route 53 Inbound Resolver

On-Premises에서 Private Hosted Zone 해석 (VPN/DX 사용 시)

Corporate DNS Conditional Forwarder

검증: nslookup <ws>.cloud.databricks.com → 10.x.x.x 반환 시 정상

Frontend PrivateLink — 구성 체크리스트

놓치기 쉬운 항목들

Workspace 생성 — Account Console

accounts.cloud.databricks.com → Workspaces → Create workspace

입력 항목

Create workspace 클릭 → 프로비저닝 시작

Workspace 생성 후 확인

프로비저닝 완료까지 대기

상태 확인

소요 시간

Unity Catalog Storage Credential

Workspace와 별개로 UC용 IAM Role 필요

Trust Policy Principals

ExternalId: Databricks Account UUID

필요 Permission

External Location — File Events IAM 권한

S3 변경 알림을 위한 SQS/SNS 권한

• External Location 생성 시 File Events가 기본 활성화됨
• File Events = S3 파일 변경 시 SQS/SNS로 알림 → Auto Loader, Job Trigger에 사용
• SQS/SNS 권한 없으면 Test Connection의 "File Events Read" 체크 실패
• File Events 불필요 시: External Location → Advanced Options → File Events 비활성화 가능

External Location — File Events IAM Policy

SQS/SNS 권한 상세

Setup Actions

• s3:GetBucketNotification, s3:PutBucketNotification
• sns:CreateTopic, sns:TagResource, sns:Publish, sns:Subscribe
• sns:GetTopicAttributes, sns:SetTopicAttributes, sns:ListSubscriptionsByTopic
• sqs:CreateQueue, sqs:DeleteMessage, sqs:ReceiveMessage, sqs:SendMessage
• sqs:GetQueueUrl, sqs:GetQueueAttributes, sqs:SetQueueAttributes, sqs:TagQueue

Resource Scope

arn:aws:sqs:*:*:csms-*
arn:aws:sns:*:*:csms-*

주의사항 & 트러블슈팅

자주 발생하는 이슈

IAM Role 등록 실패

• IAM Role 생성 직후 Databricks 등록 시 eventual consistency 문제
• 10~30초 대기 후 재시도 (Terraform 사용 시 time_sleep 리소스)

Network 수정 시 3단계 프로세스

1. 새 Network Configuration 생성
2. Workspace에서 새 Network로 교체
3. 기존 Network Configuration 삭제

• 직접 수정 → INVALID_STATE 에러

PrivateLink 워크스페이스 접근 불가

• DNS 캐시 플러시: sudo killall -HUP mDNSResponder / ipconfig /flushdns
• nslookup <workspace>.cloud.databricks.com → Private IP 확인
• VPC Endpoint 상태: available 확인 (AWS Console → VPC → Endpoints)
• Security Group: 443, 6666 양방향 확인

구성 완료 체크리스트

전체 과정 최종 확인

Unity Catalog Metastore — 개요

UC의 최상위 데이터 거버넌스 컨테이너

Metastore란?

• Unity Catalog의 최상위 컨테이너 — Catalog → Schema → Table 계층 구조의 루트
• 리전당 1개 Metastore 생성 (예: ap-northeast-2에 1개)
• 여러 Workspace가 공유 가능 — 동일 리전의 Workspace에 할당

사전 준비 리소스

Unity Catalog Metastore — 생성 절차

Account Console → Catalog → Create metastore

Step 1 — Metastore 생성

1. accounts.cloud.databricks.com 로그인
2. 좌측 메뉴: Catalog → Create metastore
3. 입력:

4. Create 클릭

Step 2 — Workspace 할당

1. 생성된 Metastore 클릭 → Assign to workspace
2. 대상 Workspace 선택 → Assign
3. 각 Workspace에서 UC 카탈로그, 스키마, 테이블 사용 가능

Serverless Networking — NCC 개요

Serverless Compute의 네트워크 제어

NCC란?

• NCC = Network Connectivity Configuration
• Serverless Compute (SQL Warehouse, Notebook 등)가 고객 데이터 소스에 프라이빗하게 접근하기 위한 설정
• Classic Workspace의 VPC 구성과는 별도로 관리

Account Console 경로

• Account Console → Security → Networking → Network connectivity configurations

제한 사항

Serverless NCC — Private Endpoint Rules

NCC에 프라이빗 엔드포인트 규칙 추가

지원 Endpoint 유형

설정 절차

1. Account Console → Security → Networking → Network connectivity configurations
2. 대상 NCC 클릭 (또는 Create 으로 새로 생성)
3. Add private endpoint rule 클릭
4. 입력:
   • S3: Bucket 이름 입력
   • VPC Resource: Resource ID (NLB ARN 등) 입력
5. Add → Endpoint 프로비저닝 (~수 분)

Terraform으로 자동화하기

위 매뉴얼 과정을 IaC로 전환 가능

Provider — Account-Level (MWS) + AWS

provider "databricks" {
  alias = "mws"
  host  = "https://accounts.cloud.databricks.com"
  account_id = var.databricks_account_id
  client_id = var.client_id       # Service Principal OAuth
  client_secret = var.client_secret
}

Terraform 리소스 매핑

AWS Console 작업 → Terraform Resource

Terraform Helper Data Sources

Policy JSON 자동 생성 — 매뉴얼 복사-붙여넣기 실수 방지

data "databricks_aws_crossaccount_policy" "this" {
  provider    = databricks.mws
  policy_type = "customer"
}

Terraform 리소스 의존성 흐름

전체 Dependency Chain

IAM Role → databricks_mws_credentials ─────────┐
                                                 │
S3 Bucket → databricks_mws_storage_configs ─────┤
                                                 │
VPC/Subnet/SG                                    │
  ├─ aws_vpc_endpoint(REST) → mws_vpc_endpoint ┐│
  ├─ aws_vpc_endpoint(Relay)→ mws_vpc_endpoint ┤│
  └─ databricks_mws_networks(vpc_endpoints) ────┤
                                                 │
databricks_mws_private_access_settings ─────────┤
                                                 ▼
                        databricks_mws_workspaces

Terraform 공식 예제 & 참고

GitHub 저장소

• Examples: github.com/databricks/terraform-databricks-examples
• SRA: github.com/databricks/terraform-databricks-sra

참고 문서 — 전체 링크 모음

Databricks 공식 문서

• 아키텍처 개요: High-Level Architecture
• Credential 구성: Create a cross-account IAM role
• Storage 구성: Configure storage
• Network 구성: Configure network
• Workspace 생성: Create a workspace
• PrivateLink 구성: Enable PrivateLink
• PrivateLink 개념: PrivateLink Concepts
• PrivateLink DNS: DNS Config
• Frontend PrivateLink: Inbound PrivateLink
• 리전별 Endpoint: IP & Domain Info
• UC Storage Credential: Storage Credentials

참고 문서 — Terraform & GitHub

Terraform Provider 문서

• Provider 홈: registry.terraform.io/providers/databricks/databricks
• mws_credentials: Docs
• mws_storage_configurations: Docs
• mws_networks: Docs
• mws_vpc_endpoint: Docs
• mws_private_access_settings: Docs
• mws_workspaces: Docs
• PrivateLink Guide: Terraform AWS PrivateLink Guide

GitHub 예제 저장소

• Terraform Examples: github.com/databricks/terraform-databricks-examples
• Security Ref Architecture: github.com/databricks/terraform-databricks-sra