ISOIEC 9075-152023 信息技術(shù).數(shù)據(jù)庫(kù)語(yǔ)言SQL.第15部分多維數(shù)組（SQLMDA）標(biāo)準(zhǔn)立項(xiàng)發(fā)展報(bào)告

信息技術(shù)數(shù)據(jù)庫(kù)語(yǔ)言SQL第15部分：多維數(shù)組（SQL/MDA）標(biāo)準(zhǔn)立項(xiàng)發(fā)展報(bào)告StandardizationDevelopmentReport:Informationtechnology—DatabaselanguagesSQL—Part15:Multidimensionalarrays(SQL/MDA)摘要隨著地球觀測(cè)、生命科學(xué)、金融工程及工業(yè)物聯(lián)網(wǎng)等領(lǐng)域數(shù)據(jù)量的爆炸式增長(zhǎng)，大規(guī)模多維數(shù)組（如衛(wèi)星影像、基因表達(dá)矩陣、傳感器網(wǎng)格數(shù)據(jù)）的高效存儲(chǔ)與查詢成為數(shù)據(jù)處理領(lǐng)域的核心挑戰(zhàn)。傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)（RDBMS）基于行的存儲(chǔ)模型在應(yīng)對(duì)此類“科學(xué)數(shù)據(jù)”或“張量數(shù)據(jù)”時(shí)存在性能瓶頸與表達(dá)不便。為填補(bǔ)這一技術(shù)空白，國(guó)際標(biāo)準(zhǔn)化組織（ISO/IECJTC1/SC32）歷經(jīng)多年研制，于2023年6月正式發(fā)布了ISO/IEC9075-15:2023《信息技術(shù)數(shù)據(jù)庫(kù)語(yǔ)言SQL第15部分：多維數(shù)組（SQL/MDA）》。本報(bào)告旨在全面闡述該標(biāo)準(zhǔn)的立項(xiàng)背景、核心技術(shù)內(nèi)容及其對(duì)數(shù)據(jù)管理領(lǐng)域的重要影響。報(bào)告首先分析了多維數(shù)組數(shù)據(jù)的管理現(xiàn)狀及標(biāo)準(zhǔn)化需求，隨后詳細(xì)解讀了SQL/MDA引入的數(shù)組數(shù)據(jù)類型、基于位置與切片的查詢語(yǔ)法以及與傳統(tǒng)SQL的融合機(jī)制。標(biāo)準(zhǔn)通過(guò)定義“數(shù)組-關(guān)系”雙層模型，使開(kāi)發(fā)者能夠在統(tǒng)一的SQL框架內(nèi)同時(shí)處理結(jié)構(gòu)化關(guān)系數(shù)據(jù)和復(fù)雜數(shù)組數(shù)據(jù)，避免了大型二進(jìn)制大對(duì)象（BLOB）傳輸或異構(gòu)系統(tǒng)間數(shù)據(jù)轉(zhuǎn)換的繁瑣開(kāi)銷。本報(bào)告認(rèn)為，SQL/MDA的發(fā)布是數(shù)據(jù)庫(kù)語(yǔ)言標(biāo)準(zhǔn)化進(jìn)程中的一個(gè)重要里程碑，它不僅拓展了SQL的應(yīng)用邊界至科學(xué)計(jì)算領(lǐng)域，也為構(gòu)建面向AI、地球科學(xué)等領(lǐng)域的下一代融合型數(shù)據(jù)庫(kù)奠定了堅(jiān)實(shí)基礎(chǔ)。該標(biāo)準(zhǔn)具有極高的應(yīng)用價(jià)值，將顯著降低多維數(shù)據(jù)處理的技術(shù)門檻與系統(tǒng)復(fù)雜度。關(guān)鍵詞：SQL/MDA；ISO/IEC9075；多維數(shù)組；數(shù)據(jù)庫(kù)語(yǔ)言；科學(xué)數(shù)據(jù)管理；數(shù)據(jù)查詢；數(shù)據(jù)標(biāo)準(zhǔn)Keywords:SQL/MDA;ISO/IEC9075;Multidimensionalarrays;Databaselanguages;Scientificdatamanagement;Dataquerying;Datastandardization正文1.引言：多維數(shù)據(jù)時(shí)代的標(biāo)準(zhǔn)訴求在當(dāng)今數(shù)字化浪潮中，數(shù)據(jù)類型正從傳統(tǒng)的文本與數(shù)字向高維、密集的科學(xué)數(shù)據(jù)進(jìn)行深刻變革。遙感影像生成的多光譜波段、氣象模型的網(wǎng)格化預(yù)測(cè)、基因組測(cè)序的表達(dá)矩陣及深度學(xué)習(xí)框架中的權(quán)重張量，其本質(zhì)均為高度結(jié)構(gòu)化、具有規(guī)則維度的多維數(shù)組。據(jù)業(yè)界估算，此類科學(xué)數(shù)據(jù)占全球數(shù)據(jù)總量的比重正快速增長(zhǎng)，并已成為驅(qū)動(dòng)新型研究與應(yīng)用的關(guān)鍵生產(chǎn)要素。然而，現(xiàn)有主流數(shù)據(jù)管理技術(shù)在處理這類數(shù)據(jù)時(shí)顯得力不從心。傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)（RDBMS）將多維數(shù)組作為二進(jìn)制大對(duì)象（BLOB）或拆解為大量行記錄來(lái)存儲(chǔ)，前者導(dǎo)致“全數(shù)據(jù)讀取”的低效網(wǎng)絡(luò)傳輸，后者則破壞了數(shù)據(jù)的空間連續(xù)性并帶來(lái)巨大的查詢開(kāi)銷。非關(guān)系型數(shù)據(jù)庫(kù)（NoSQL）或?qū)Ｓ梦募袷剑ㄈ鏗DF5、NetCDF）雖能高效組織數(shù)組數(shù)據(jù)，但缺乏SQL這一通用查詢語(yǔ)言所具備的標(biāo)準(zhǔn)、易用及強(qiáng)大的數(shù)據(jù)操作能力。這導(dǎo)致企業(yè)級(jí)應(yīng)用中往往出現(xiàn)“雙棧”系統(tǒng)：關(guān)系庫(kù)處理業(yè)務(wù)元數(shù)據(jù)，科學(xué)數(shù)據(jù)存儲(chǔ)在外部數(shù)組中，數(shù)據(jù)工程師需付出大量努力進(jìn)行跨系統(tǒng)交互與集成。為從根本上解決上述困境，國(guó)際標(biāo)準(zhǔn)化組織（ISO）聯(lián)合國(guó)際電工委員會(huì)（IEC）的第一聯(lián)合技術(shù)委員會(huì)（JTC1）下屬的SC32數(shù)據(jù)管理與交換分技術(shù)委員會(huì)，啟動(dòng)了SQL多維數(shù)組擴(kuò)展（SQL/MDA）標(biāo)準(zhǔn)的研制工作。經(jīng)過(guò)長(zhǎng)期論證與開(kāi)發(fā)，標(biāo)準(zhǔn)于2023年正式面世。2.標(biāo)準(zhǔn)核心技術(shù)內(nèi)容解讀ISO/IEC9075-15:2023標(biāo)準(zhǔn)的全稱是“信息技術(shù)—數(shù)據(jù)庫(kù)語(yǔ)言SQL—第15部分：多維數(shù)組（SQL/MDA）”，它并非對(duì)現(xiàn)有SQL語(yǔ)法的顛覆，而是一種有機(jī)且優(yōu)雅的擴(kuò)展，核心在于四個(gè)層面的創(chuàng)新。2.1核心數(shù)據(jù)類型定義：數(shù)組類型標(biāo)準(zhǔn)引入了新的`ARRAY`類型，但與SQL標(biāo)準(zhǔn)中已有的定長(zhǎng)一維數(shù)組不同。SQL/MDA的數(shù)組是多維的、稠密的、元素類型統(tǒng)一的張量。其定義語(yǔ)法包括：-維度（Dimension）：明確數(shù)組的軸數(shù)和各軸大小，如`integerArrayINTEGERARRAY[256][512]`定義一個(gè)二維數(shù)組。-元素類型（ElementType）：可以是任何內(nèi)置或用戶定義的SQL類型，包括浮點(diǎn)數(shù)、整數(shù)、乃至嵌套的數(shù)組類型。-形狀（Shape）：數(shù)組的維度大小，查詢時(shí)可以動(dòng)態(tài)獲取形狀信息。2.2強(qiáng)大的位置查詢與切片能力（AffineTransformations&Slicing）這是該標(biāo)準(zhǔn)最核心的語(yǔ)義擴(kuò)展。它允許用戶在SQL的`SELECT`語(yǔ)句中直接對(duì)數(shù)組的特定部分進(jìn)行定位訪問(wèn)。-定點(diǎn)索引：通過(guò)`a[i][j][k]`語(yǔ)法直接獲取某個(gè)特定位置的元素。-切片（Slicing）：使用類似PythonNumpy的語(yǔ)法進(jìn)行范圍選取。例如`arr[1:100][*][5:10]`表示提取第一個(gè)維度從1到100、第三個(gè)維度從5到10的整個(gè)子數(shù)組。這里的`*`表示獲取該維度的所有值。-降維與重塑：查詢結(jié)果可以依然是多維數(shù)組，支持對(duì)齊操作。2.3數(shù)組與關(guān)系的無(wú)縫集成：“數(shù)組-關(guān)系”雙模式SQL/MDA在傳統(tǒng)行/列模型上疊加了數(shù)組視圖。一個(gè)典型場(chǎng)景是：一個(gè)`satellite_image`表包含`image_id`、`acquisition_time`、`cloud_cover`等列，以及一個(gè)存儲(chǔ)多維像素?cái)?shù)組的`pixel_data`列。SQL/MDA使得以下查詢成為可能：```sqlSELECTimage_id,acq_time,(SELECTSUM(v)FROMpixel_data[1:100,1:100]ASv)AStop_left_corner_brightnessFROMsatellite_imageWHEREcloud_cover<0.1ANDacq_timeBETWEEN'2024-01-01'AND'2024-01-31';```在這個(gè)查詢中，`pixel_data[1:100,1:100]`這一數(shù)組切片操作直接嵌入在SQL的表達(dá)式里。標(biāo)準(zhǔn)規(guī)定數(shù)組可以通過(guò)`UNNEST`邏輯還原回行，也可以聚集行成數(shù)組，從而實(shí)現(xiàn)了兩種數(shù)據(jù)模型的無(wú)縫互轉(zhuǎn)。2.4聚集與窗口函數(shù)擴(kuò)展標(biāo)準(zhǔn)定義了新的聚集函數(shù)，比如用于計(jì)算數(shù)組內(nèi)所有元素平均值、標(biāo)準(zhǔn)差、最大值最小值的函數(shù)，這些函數(shù)可以在一個(gè)數(shù)組列上直接使用，無(wú)需預(yù)先將數(shù)組展開(kāi)成表。此外，也擴(kuò)展了窗口函數(shù)，使其能在數(shù)組相鄰元素上進(jìn)行滑動(dòng)窗口計(jì)算（例如，生成圖像的卷積核效果），這對(duì)于在線分析處理（OLAP）十分關(guān)鍵。3.標(biāo)準(zhǔn)立項(xiàng)的產(chǎn)業(yè)背景與技術(shù)價(jià)值SQL/MDA的發(fā)布并非學(xué)術(shù)研究的空中樓閣，而是深刻根植于以下產(chǎn)業(yè)需求的迫切呼喚。3.1地球觀測(cè)與遙感分析地球科學(xué)是最大的多維數(shù)據(jù)產(chǎn)生源之一。一顆小型衛(wèi)星每天即可產(chǎn)生數(shù)TB級(jí)的L1C影像數(shù)據(jù)（三維：光譜-行-列）。傳統(tǒng)方法需將影像轉(zhuǎn)為GeoTIFF文件存儲(chǔ)，鏈路極其復(fù)雜。SQL/MDA支持將影像數(shù)據(jù)直接作為數(shù)據(jù)庫(kù)的一列，可通過(guò)SQL語(yǔ)句按需裁剪、融合、投影轉(zhuǎn)換。這為數(shù)字孿生、智慧農(nóng)業(yè)、環(huán)境監(jiān)測(cè)應(yīng)用提供了一體化數(shù)據(jù)底座。3.2金融量化計(jì)算在金融風(fēng)控和量化交易中，資產(chǎn)回報(bào)率張量（時(shí)間×產(chǎn)品×因子）是核心數(shù)據(jù)。過(guò)去，銀行需要將數(shù)據(jù)導(dǎo)出至Matlab或Python環(huán)境進(jìn)行矩陣運(yùn)算。通過(guò)SQL/MDA，金融數(shù)據(jù)庫(kù)可以直接存儲(chǔ)這類張量，并利用擴(kuò)展的SQL進(jìn)行移動(dòng)平均、協(xié)方差矩陣計(jì)算及回測(cè)分析，大幅提升了模型計(jì)算效率。3.3物聯(lián)網(wǎng)（IoT）與工業(yè)4.0工業(yè)傳感器生成的高頻時(shí)序數(shù)據(jù)實(shí)際上構(gòu)成了二維數(shù)組（傳感器×?xí)r間點(diǎn)）。使用SQL/MDA，可以輕松地設(shè)計(jì)查詢?nèi)缦拢骸疤崛∵^(guò)去24小時(shí)內(nèi)，3號(hào)產(chǎn)線上所有溫度傳感器的數(shù)據(jù)數(shù)組，并計(jì)算該數(shù)組的均值與峰值，找出溫度異常區(qū)域。”這種查詢能力在傳統(tǒng)關(guān)系模型中需要多次關(guān)聯(lián)和子查詢，而SQL/MDA可在一次掃描中完成。3.4生命科學(xué)基因測(cè)序的BAM文件、單細(xì)胞RNA測(cè)序的表達(dá)矩陣本質(zhì)上都是稀疏或稠密的多維數(shù)組。一個(gè)基因由一個(gè)維度的坐標(biāo)表示，一個(gè)細(xì)胞由另一個(gè)維度的坐標(biāo)表示。SQL/MDA使得生物信息學(xué)家可以直接在數(shù)據(jù)庫(kù)中查詢“哪些在組織A中高表達(dá)的基因，在細(xì)胞B中的表達(dá)水平是前十的”，進(jìn)行高效的數(shù)據(jù)探索。4.主要參與單位介紹本標(biāo)準(zhǔn)的成功研制是國(guó)際合作的典范，其核心推動(dòng)力量之一是來(lái)自瑞士的ETHZurich（蘇黎世聯(lián)邦理工學(xué)院）的ArrayDataAnalysis研究組領(lǐng)導(dǎo)的調(diào)研與開(kāi)發(fā)工作，但具體到起草和編輯工作的主導(dǎo)單位，則是位于德國(guó)的rasdamanGmbH公司。rasdamanGmbH公司是一家全球領(lǐng)先的科學(xué)大數(shù)據(jù)管理和分析平臺(tái)提供商，擁有超過(guò)20年歷史。該公司是國(guó)際標(biāo)準(zhǔn)SQL/MDA（ISO9075-15）的最主要貢獻(xiàn)者與聯(lián)合編輯單位。公司創(chuàng)始人兼首席執(zhí)行官PeterBaumann教授是數(shù)據(jù)庫(kù)領(lǐng)域的權(quán)威專家，長(zhǎng)期致力于陣列數(shù)據(jù)管理的研究。在該標(biāo)準(zhǔn)的整個(gè)生命周期中，rasdamanGmbH承擔(dān)了以下關(guān)鍵角色：-標(biāo)準(zhǔn)撰寫與架構(gòu)設(shè)計(jì)：公司團(tuán)隊(duì)基于其開(kāi)源的rasdaman引擎二十年實(shí)踐和在數(shù)組語(yǔ)言上的深厚造詣，撰寫了SQL/MDA標(biāo)準(zhǔn)核心的語(yǔ)法規(guī)范與語(yǔ)義模型。該標(biāo)準(zhǔn)中關(guān)于數(shù)組切片的語(yǔ)法`[low:high]`以及數(shù)組聚集函數(shù)的概念幾乎完全借鑒了rasdaman本身成熟的查詢語(yǔ)言。-跨行業(yè)推廣與試點(diǎn)：在標(biāo)準(zhǔn)草案階段，rasdamanGmbH聯(lián)合歐洲空間局（ESA）、美國(guó)國(guó)家海洋和大氣管理局（NOAA）等機(jī)構(gòu)，實(shí)際部署并演示了使用SQL/MDA標(biāo)準(zhǔn)在超大規(guī)模遙感數(shù)據(jù)上的即席分析能力，驗(yàn)證了標(biāo)準(zhǔn)的實(shí)用性與性能，為其最終獲得共識(shí)通過(guò)提供了決定性的實(shí)踐經(jīng)驗(yàn)。可以說(shuō)，沒(méi)有rasdamanGmbH及其團(tuán)隊(duì)堅(jiān)持不懈的基礎(chǔ)編碼、標(biāo)準(zhǔn)草案打磨和實(shí)地部署驗(yàn)證，SQL/MDA標(biāo)準(zhǔn)不會(huì)如此高效且優(yōu)質(zhì)地完成。該公司不僅是標(biāo)準(zhǔn)的貢獻(xiàn)者，更是新一類“陣列數(shù)據(jù)庫(kù)”計(jì)算范式的標(biāo)桿與引領(lǐng)者。5.結(jié)論與展望ISO/IEC9075-15:2023的發(fā)布，標(biāo)志著關(guān)系型數(shù)據(jù)庫(kù)語(yǔ)言SQL正式迎向科學(xué)計(jì)算與多維數(shù)據(jù)處理的挑戰(zhàn)。它并非一種針對(duì)特定領(lǐng)域的“方言”，而是基于嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)定義和成熟的數(shù)據(jù)庫(kù)工程實(shí)踐，對(duì)通用查詢模型的一次重大擴(kuò)充。該標(biāo)準(zhǔn)成功化解了傳統(tǒng)數(shù)據(jù)庫(kù)中“行與列”對(duì)于空間維度數(shù)據(jù)的固有束縛，使得在一個(gè)統(tǒng)一的、經(jīng)過(guò)數(shù)十年優(yōu)化的SQL查詢規(guī)劃器內(nèi)，高效地完成“關(guān)系過(guò)濾-數(shù)組切片-聚集計(jì)算”的混合處理成為可能。展望未來(lái)，SQL/MDA標(biāo)準(zhǔn)的演進(jìn)與發(fā)展將體現(xiàn)在以下幾個(gè)方向：首先，生態(tài)普及與互操作性將是下一階段的核心。標(biāo)準(zhǔn)雖已發(fā)布，但主要商業(yè)數(shù)據(jù)庫(kù)（如Oracle、DB2、SQLServer等）及主流開(kāi)源數(shù)據(jù)庫(kù)（PostgreSQL、MySQL）何時(shí)原生化支持MDA語(yǔ)法仍是業(yè)界關(guān)注焦點(diǎn)。預(yù)計(jì)隨著客戶對(duì)于高性能時(shí)空、科學(xué)數(shù)據(jù)管理需求增長(zhǎng)，數(shù)據(jù)庫(kù)廠商將其納入路線圖的速度將加快。標(biāo)準(zhǔn)的參考實(shí)現(xiàn)將提供對(duì)接橋梁，但深度集成至查詢優(yōu)化器才能發(fā)揮極致性能。其次，存儲(chǔ)引擎與索引優(yōu)化。隨著SQL/MDA標(biāo)準(zhǔn)落地，底層存儲(chǔ)引擎需要重新設(shè)計(jì)以適應(yīng)數(shù)組的高局部性、維度感知的訪問(wèn)模式。多維模型的數(shù)據(jù)布局、近似查詢處理（AQP）以及基于分布的索引技術(shù)將迎來(lái)研究熱潮。最后，與AI行業(yè)的深度共鳴。人工智能（AI）的核心模型——深度學(xué)習(xí)Tensor（張量）本質(zhì)就是高維數(shù)組。S