2023 年值得關注的 7 大數據質量趨勢

  根據2022 年數據質量狀況報告，在所有接受調查的企業中，近 70% 的企業已經開始了數據質量管理 (DQM) 之旅。不跟上 DQM 趨勢和技術步伐的組織將會落在后面，這一點很快變得很明顯。以下是您應該了解的重要的趨勢。
  1. 建立數據素養的工作文化
  盡管數據被認為是成功的關鍵因素，組織中的每個人都可以使用數據，但很少有人真正了解他們所使用的數據的價值。38% 的調查受訪者承認，缺乏管理和分析數據的熟練資源阻礙了他們的發展。34% 的人不理解他們使用的數據。
  當您不知道您面前的數據的潛力時，您就無法使用它。這使人們意識到企業需要優先考慮建立強大的數據素養文化。高層管理人員和一線員工需要具備理解數據、分析數據并與之互動的能力。
  2. 以云數據技術上線
  從將云視為打破孤島和集中存儲數據的一種方式，它現在已成為數字解決方案、服務和自動化工具的首選之地。用于數據質量相關任務的云服務提供商的數量正在穩步增加。其中的一些關鍵原因是它們提供的可擴展性、較低的前期成本和易用性。
  新的云數據解決方案專注于一系列服務，從自動數據質量檢查、自動翻譯和安全到快速遷移、人工智能驅動的數據操作和治理集成。隨著對結構化數據倉庫和管理的需求增長，數據中心也變得越來越流行。
  3. 為高效的 DQM 部署 AI/ML 模型
  為了使 DQM 流程更加高效和可靠，數據團隊正在從手動流程轉向開發和部署 AI/ML 模型。根據麥肯錫的一份報告，截至 2021 年，對人工智能的投資已突破 1650 億美元大關。
  這被用于解決常見的數據質量問題和自動化數據分類、標記、預測分析等任務。借助人工智能，數據質量團隊可以超越結構數據管理需求和文本需求，實現與自然語言處理、計算機視覺、知識圖譜等相關功能的自動化。
  4. 自動化流程以提高效率
  整個數據管理行業的自動化正在興起。這樣做的主要原因是它可以節省時間。元數據和人工智能自動化的一些流程包括數據發現和入職、數據質量監控、黃金記錄創建和數據匹配。鑒于即使是好的數據也會隨著時間的推移而衰減，因此定期質量檢查等流程的自動化就顯得尤為重要。
  5. 更加注重信任和安全
  盡管組織已經開始致力于數據治理和信任，但它尚未充分發揮其潛力。隨著意識的增強，DQN 解決方案越來越關注微調治理機會和信任架構。超過340 億美元已投資于數字身份和信任架構領域。
  越來越多地使用智能數據倉庫來自動化和集成信任需求并驅動數據加密。自動執行安全漏洞和治理數據檢查的工具被視為獲得競爭優勢的一種方式。
  6. 數據質量作為合規工具
  政府在社會、治理和環境方面的法規越來越嚴格。因此，組織不得不花費更多的時間和精力通過數據質量檢查來履行合規性和合同義務。
  例如，宣傳自己為可持續品牌的品牌現在必須更加努力地證明自己配得上這個標簽。許多人被指控洗綠或歪曲他們的報告。即使指控沒有根據，解決這個問題的方法是堅持要求供應商提供高質量的報告，并通過及時報告來滿足政府監管的要求。
  7. 低代碼/無代碼數據應用
  隨著組織致力于數據民主化并讓每個人都對數據質量負責，對低代碼/無代碼數據應用程序的需求不斷增加。這些是任何人都可以學習如何使用的工具，即使他們之前沒有任何編碼知識或廣泛的技術技能。無需更改基本代碼即可部署在任何硬件上的容器化應用程序的使用也在增加。從 2021 年到 2027 年，使用容器化應用程序的組織數量
  這個想法是讓人們能夠獨立地加載數據，采取措施提高數據質量并自動檢查以節省數據工程師的時間。然后，他們可以利用這段時間來確定 DQM 所需的其他任務的優先級。