Tijdens de Databricks Data + AI World Tour 2025 werd duidelijk dat Databricks SQL (DB SQL) zich niet langer beperkt tot een query-engine binnen het Lakehouse-platform. Het ontwikkelt zich razendsnel tot een volwaardig AI-gedreven data-warehouse-omgeving waarin traditionele scheidslijnen tussen analytics, data-engineering en AI verdwijnen.
De boodschap aan data-architecten was helder: de moderne data-architectuur draait niet langer om pipelines of tabellen, maar om intelligentie, automatisering en openheid.
1. Performance door AI: van optimalisatie naar voorspellende intelligentie
De afgelopen jaren heeft Databricks SQL een opmerkelijke sprong gemaakt in performance: queries draaien nu vijf keer sneller dan in 2022 en de laatste release voegt daar nog eens 25% extra snelheid aan toe, zonder hogere kosten of nieuwe SKU’s.
Hoe? Dankzij de AI-powered Performance Engine, met functies zoals:
- Auto Statistics: verzamelt automatisch statistieken tijdens writes en in de achtergrond, goed voor ~33% snellere benchmarks.
- Auto Liquid Clustering: een zelflerend mechanisme dat clustering keys dynamisch aanpast op basis van data- en query-patronen (tot 20× sneller volgens interne benchmarks).
Waar vroeger handmatige tuning en indexbeheer nodig waren, leert de engine nu zelf wat optimale performance oplevert. Hierdoor verschuift de rol van de data-architect van performance-tuner naar ontwerper van adaptieve systemen.
2. SQL als AI-interface: generatieve functies in de querylaag
Een van de meest opvallende vernieuwingen is de introductie van AI Functions in DB SQL, waarmee AI direct kunt aangeroepen vanuit een SQL-query, zonder Python-code of modeldeployment.
Voorbeelden zijn functies als:
- ai_query(): om natuurlijke taalvragen of prompts naar AI-modellen te sturen;
- ai_parse_document():voor document-intelligentie (PDF-extractie);
- ai_translate():voor meertalige analyses;
- ai_summarize():om tekstinhoud samen te vatten binnen SQL-queries.
Deze functies maken het mogelijk om multi-modale data (tekst, beelden, documenten) te verwerken in één data-workflow. Tijdens de demo werd getoond hoe beelden automatisch gecategoriseerd werden met een simpele SQL-query en vervolgens hoe diezelfde query een socialmedia-post genereert via ai_query().
De implicatie hiervan is groot: BI-teams kunnen nu generatieve AI integreren zonder de data uit het Lakehouse te halen. De grens tussen analytics en intelligentie vervaagt.
3. Nieuwe taalfeatures en interoperabiliteit
DB SQL breidt zijn taalondersteuning fors uit richting traditionele ETL- en datamigratie-scenario’s met: .
SQL scripting, stored procedures en recursive CTE’s;
- Spatial SQL met meer dan 80 ingebouwde geospatiale functies (5× sneller dan veel 3rd-party-tools);
- Ondersteuning voor JSON, XML, CSV;
- dbt-Cloud integratie via Lakeflow Tasks, waardoor dbt-jobs direct in Databricks georkestreerd kunnen worden.
Deze toevoegingen maken Databricks SQL niet alleen completer als query-omgeving, maar ook bruikbaar als migratiedoel voor traditionele DWH’s.
4. AI-ondersteunde migratie: Lakebridge
Een van de strategisch meest interessante aankondigingen is Lakebridge: een AI-gedreven migratie-tool die legacy-warehouses omzet naar DB SQL.
De pipeline bestaat uit vier fasen:
- Analysis: deep scan van bestaande workloads;
- Code Converter: een LLM-gebaseerde transpilatie-engine die SQL-code omzet naar DB SQL-syntax;
- Data Migration: via Lakeflow Connect naar Lakehouse;
- Validation: automatische reconciliatie en validatie.
Meer dan tien (legacy) platformen worden ondersteund, waaronder Oracle, SQL Server, Netezza, Snowflake, Redshift en BigQuery.
Deze automatisering verlaagt de drempel voor organisaties om hun traditionele DWH-landschap te moderniseren, zonder een risicovolle herbouw.
5. Observability en governance: system tables in Unity Catalog
Tot slot is er een fundamentele stap gezet op het vlak van governance: system tables binnen het Unity Catalog-schema system.
Hierin zijn onder andere tabellen beschikbaar voor:
- access.audit
- billing.usage
- sql.query_history
- sql.warehouse_events
Deze bieden organisaties real-time inzicht in kosten, queries, wijzigingen en gebruikersactiviteit.
Voor sectoren waar compliance, auditing en kostenbeheer centraal staan, zoals banken- en verzekeraars betekent dit een belangrijke verschuiving: observability is niet langer iets wat extern gemonitord wordt, maar een native onderdeel van het data-platform.
Conclusie: de herdefinitie van het data-warehouse
Databricks SQL evolueert van een analytische engine naar een unified AI-warehouse: open, adaptief en geïntegreerd met generatieve AI.
Voor data-architecten betekent dit dat de klassieke scheiding tussen data warehouse, data lake en machine learning platform steeds minder houdbaar is.
De vraag is niet langer welk platform het snelst is, maar: Hoe ontwerp je een data-architectuur die leert, optimaliseert en zichzelf begrijpt?
Databricks SQL laat zien hoe die toekomst eruit kan zien. Waar AI niet langer een aparte laag is, maar een natuurlijke extensie van SQL zelf.
Wil je sparren over de toekomst van jouw data-architectuur?
Neem contact op via het formulier hieronder. Onze experts denken graag mee over hoe je Databricks SQL kunt inzetten, of helpen je direct met een concreet plan van aanpak voor een adaptief, AI-gestuurd data-warehouse.
