CN117632993B 數據處理方法、裝置、計算機設備及存儲介質 （順豐科技有限公司）

質據集為所述查詢數據庫運行所述可執行語句返包含函數信息的非函數信息作為轉換為查詢數2根據所述非函數信息生成所述查詢數據庫的可獲取待解析的數據集，所述數據集為所述查詢數據庫運行所述可執行語句返回的數所述根據所述查詢語句確定查詢數據庫、各所述字段的非函數信所述根據所述非函數信息生成所述查詢數據庫的可執行語句，包所述獲取待解析的數據集，所述數據集為所述查詢數據庫運行所述集;若所述查詢部分包含函數，則根據所述查詢部分的若所述函數部分僅包含一層函數，則確定所述函數的函數名若所述函數部分包含多層函數，則分析所述函數部分的函數3述遞歸函數棧的棧頂函數的入參數組為所述遞歸函數棧對應字若所述待查詢參數不屬于所述查詢參數類型，則確定所述待查詢參數為所述參數信若所述查詢語句中目標字段包含函數，則根據所述目標字根據所述目標字段對應的遞歸函數棧和所述查詢參數，確定所述若所述查詢語句中目標字段不包含函數，則根據所述目標字段根據所述有效查詢語句和所述轉換語法得到所述可語句分析模塊，與所述語句獲取模塊通訊連接，用于根據所述查詢指令生成模塊，與所述語句分析模塊通訊連接，用于根數據解析模塊，與所述語句獲取模塊、所述語句分析模塊存儲器；以及一個或多個應用程序，其中所述一個或多個應用程序45己的一套SQL標準設計。統一SQL的思想就是在各類執行類SQL的組件或程序中，定義一套SQL語言標準，通過某種方式轉變成指定組件或程序中可執行的DSL(DomainSpecific口打包為動態鏈接庫加入到Mysql文件夾中或者通過createfunction的方式在數據庫中[0014]若所述查詢部分包含函數，則根據所述查詢部分的函數部分確定所述遞歸函數[0016]在本申請一些實施例中，所述根據所述查詢部分的函數部分確定所述遞歸函數67塊還用于根據所述查詢語句確定查詢部分和條件部分；根據所述條件部分獲取條件參數，[0043]在本申請一些實施例中，語句分析模塊還用于若所述函[0045]在本申請一些實施例中，語句分析模塊還用于根據所述查詢語句生成抽象語法8[0058]圖4是本申請另一實施例中結合三元組集合對數據集執行棧推運算的流程示意key)ASreverse_row_key,udfB(udfC(name,id)),CONCAT(name,'％')ASnpFROMuser9udfA(row_key)ASreverse_row_key、udfB(udfC(name,id))以及CONCAT(name,'％FROMuserWHEREinc_day＝udfA(${yyyyMMdd})，對應地需要查詢得到的結果為name、的預處理需要在將統一SQL的查詢語句轉換為特定可執行語句之前執行。因此根據查詢語本實施例將條件部分單獨預處理能夠更好地兼容動將該第二類字段保留作為查詢信息用于轉換查詢數據庫的可執字段udfB(udfC(name,id))，也可以是同時包含函數和非函數的字段，例如上述中的字段用戶需求進行設置。如果其中包含的函數為自定義函數或者是與查詢數據庫不對等的函語句中首個where關鍵字作為條件標識點，則查詢語句中where關鍵字之后的為條件部分，where關鍵字之前的為查詢部分。此外，通過遍歷抽象語法樹為確定條件標識點的一種方棧的棧頂函數的入參數組為查詢參數所述遞歸函數棧對應字數棧。其中，遞歸函數棧中某一層函數直接調用相鄰層的函數，例如第一類字段為udfA(udfB(udfC(name,id)))，則得到的遞歸函數棧由棧底到棧頂依次為(udfA，[udfB(udfC[0088]例如，某查詢語句為SELECTname,udfA(row_key)ASreverse_row_key,udfB(udfC(name,id)),CONCAT(name,'％')ASnpFROMuserWHEREinc_day＝udfA($數類型的參數，因此待查詢參數id為參數信息。對于查詢部分的各個字段，其中name和CONCAT(name,'％')ASnpFROMuser不包含函數，因此直接作為查詢信息，udfB(udfC據所述目標字段對應的遞歸函數棧和所述數據集，確定所述目標字段的所述查詢參數；標字段中函數需要的查詢參數從數據集中獲取相應的參數，然后將參數入參遞歸函數棧，[0096]本實施例在將統一SQL轉換為特定數據庫的可執行語句時剝離其中的函數部分，因此支持用戶在統一SQL的基礎上自定義函數，彌補統一SQL提供的數據服務在UDF方面的name,udfA(row_key)ASreverse_row_key,udfB(udfC(name,id)),CONCAT(name,'％')AS[0104]S5、后預處理模塊深度優先遍歷SELECT查詢部分生成的抽象語法樹，剝離樹中SELECTid,name,row_的字段即沒有返回的別名的字段，沒有元素進行拼接，如查詢語句中的字段udfB(udfC[0109]本實施例基于統一SQL的UDF管理系統可以通過自定義UDF的方式，通過設置的特所述數據集為所述查詢數據庫運行所述可執行語句返塊920還用于根據所述查詢語句確定查詢部分和條件部分；根據所述條件部分獲取條件參[0117]在本申請一些實施例中，語句分析模塊920還用于若所述函數部分僅包含一層函[0119]在本申請一些實施例中，語句分析模塊920還用于根據所述查詢語句生成抽象語[0120]在本申請一些實施例中，指令生成模塊930還用于根據各字段的所述非函數信息[0121]在本申請一些實施例中，數據解析模塊950還用于若所述查詢語句中目標字段包算機程序可在如圖6所示的計算機設備上運行。計算機設備的存儲器中可存儲組成該數據得處理器執行本說明書中描述的本申請各個實施例的數據處理方法[0123]例如，圖6所示的計算機設備可以通過如圖5所示的數據處理裝置900中的語句獲可通過指令生成模塊930執行步驟S103。計算機設備可通過數據獲取模塊940執行步驟失性和易失性存儲器中的至少一種。非易失性存儲器可包括只讀存儲器(Read_Only