亞馬遜云科技推出五項(xiàng)數(shù)據(jù)庫和分析服務(wù)功能,提高PB級(jí)數(shù)據(jù)處理能力

2022-12-12 13:45 來源:美通社 作者:電源網(wǎng)

Amazon DocumentDB Elastic Clusters可將客戶的文檔工作負(fù)載擴(kuò)展到支持每秒數(shù)百萬次寫入并存儲(chǔ)PB級(jí)數(shù)據(jù)

Amazon OpenSearch Serverless可幫助客戶在無需手動(dòng)配置、擴(kuò)展或管理底層基礎(chǔ)設(shè)施的情況下運(yùn)行搜索和分析工作負(fù)載

Amazon Athena for Apache Spark的功能讓客戶得以使用Apache Spark進(jìn)行交互式分析,并將分析所需時(shí)長從數(shù)分鐘縮短到一秒以內(nèi)

Amazon Glue Data Quality自動(dòng)測(cè)量、監(jiān)控和管理數(shù)據(jù)湖和數(shù)據(jù)管道中的數(shù)據(jù)質(zhì)量,將數(shù)據(jù)分析和規(guī)則識(shí)別的時(shí)間從幾天縮短到幾小時(shí)

Amazon Redshift現(xiàn)在支持跨多個(gè)亞馬遜云科技可用區(qū)的高可用配置

北京2022年12月12日 /美通社/ -- 亞馬遜云科技在2022 re:Invent全球大會(huì)上宣布推出五項(xiàng)涵蓋數(shù)據(jù)庫和分析產(chǎn)品組合的全新功能,讓客戶能夠更快、更輕松地管理和分析PB級(jí)數(shù)據(jù)。幾項(xiàng)針對(duì)Amazon DocumentDB(與MongoDB兼容)、Amazon OpenSearch Service和Amazon Athena的新功能讓客戶能夠更輕松地大規(guī)模運(yùn)行高性能數(shù)據(jù)庫和分析工作負(fù)載。此外,亞馬遜云科技還發(fā)布了Amazon Glue的一項(xiàng)新功能,可以跨數(shù)據(jù)湖和數(shù)據(jù)管道自動(dòng)管理數(shù)據(jù)質(zhì)量。最后,Amazon Redshift現(xiàn)在支持跨多個(gè)亞馬遜云科技可用區(qū)(AZ)的高可用配置。此次發(fā)布讓客戶能夠擁有適合其數(shù)據(jù)工作負(fù)載的恰當(dāng)工具,實(shí)現(xiàn)大規(guī)模運(yùn)營并提高可用性,從而幫助客戶充分利用其在亞馬遜云科技上的數(shù)據(jù)。要了解有關(guān)使用亞馬遜云科技釋放數(shù)據(jù)價(jià)值的更多信息,請(qǐng)?jiān)L問aws.amazon.com/data。

“數(shù)據(jù)天生就是動(dòng)態(tài)的,需要端到端的數(shù)據(jù)戰(zhàn)略來充分發(fā)揮其潛力。數(shù)據(jù)戰(zhàn)略應(yīng)該能夠根據(jù)客戶的需求進(jìn)行擴(kuò)展,適應(yīng)所有類型的用例,兼顧現(xiàn)在和未來。”亞馬遜云科技數(shù)據(jù)庫、分析和機(jī)器學(xué)習(xí)副總裁 Swami Sivasubramanian表示,“為了幫助客戶充分利用不斷增長的、海量而多樣化的數(shù)據(jù),我們一直致力于提供最廣泛和最深入的數(shù)據(jù)庫和分析服務(wù)。在此基礎(chǔ)上,我們今天推出的新功能可以讓客戶更方便地查詢、管理數(shù)據(jù)和擴(kuò)大數(shù)據(jù)規(guī)模,更快地做出數(shù)據(jù)驅(qū)動(dòng)的決策?!?

當(dāng)前,組織創(chuàng)建和存儲(chǔ)的數(shù)據(jù)達(dá)到PB級(jí)甚至EB級(jí),數(shù)據(jù)來源日益多樣化,這其中包括數(shù)字媒體、在線交易和各種聯(lián)網(wǎng)設(shè)備。為了最大限度地發(fā)揮這些數(shù)據(jù)的價(jià)值,客戶需要端到端的數(shù)據(jù)戰(zhàn)略,為所有數(shù)據(jù)工作負(fù)載和應(yīng)用提供合適的工具,并能在數(shù)據(jù)體量增大、流速提升時(shí)仍能規(guī)?;?、可靠地執(zhí)行。為了支持客戶設(shè)計(jì)自己的端到端數(shù)據(jù)戰(zhàn)略,亞馬遜云科技提供了業(yè)界最全面的數(shù)據(jù)服務(wù)和解決方案,其中包括針對(duì)客戶最重要的用例而優(yōu)化的全托管數(shù)據(jù)庫,例如用于關(guān)系數(shù)據(jù)庫的Amazon Aurora和用于文檔數(shù)據(jù)庫的Amazon DocumentDB;還包括可以幫助客戶從數(shù)據(jù)中獲得有價(jià)值的洞察的多種分析服務(wù),諸如面向搜索和分析工作負(fù)載(如實(shí)時(shí)應(yīng)用監(jiān)控、日志分析和網(wǎng)站搜索)的Amazon OpenSearch Service、面向交互式分析的Amazon Athena 、面向數(shù)據(jù)集成的Amazon Glue 和面向數(shù)據(jù)倉庫的Amazon Redshift。此次發(fā)布在這些服務(wù)的基礎(chǔ)上提供高級(jí)功能。

Amazon DocumentDB Elastic Clusters以每秒數(shù)百萬次寫入的性能為PB級(jí)應(yīng)用提供支持。數(shù)以萬計(jì)的客戶使用 Amazon DocumentDB運(yùn)行文檔工作負(fù)載,因?yàn)樗俣瓤?、可擴(kuò)展、高度可用而且完全托管。雖然每個(gè) Amazon DocumentDB節(jié)點(diǎn)最多可擴(kuò)展到64TB數(shù)據(jù)并支持每秒數(shù)百萬次讀取請(qǐng)求,但有一部分客戶的工作負(fù)載要求極高,需要超越這些限制的擴(kuò)展能力,以支持每秒數(shù)百萬次寫入并存儲(chǔ)PB級(jí)數(shù)據(jù)。以往,這些客戶必須在多個(gè)Amazon DocumentDB節(jié)點(diǎn)間手動(dòng)分拆數(shù)據(jù)、管理容量。Amazon DocumentDB Elastic Clusters允許客戶在幾分鐘內(nèi)擴(kuò)展,打破單個(gè)數(shù)據(jù)庫節(jié)點(diǎn)的限制,以支持每秒數(shù)百萬次的讀寫并存儲(chǔ)高達(dá)2 PB的數(shù)據(jù)。隨著工作負(fù)載需求不斷增加,Amazon DocumentDB Elastic Clusters可以利用分布式存儲(chǔ)系統(tǒng)自動(dòng)將大型數(shù)據(jù)集劃分到多個(gè)節(jié)點(diǎn)。客戶不再需要編寫自定義代碼分拆數(shù)據(jù)集和跨節(jié)點(diǎn)手動(dòng)管理容量。底層基礎(chǔ)設(shè)施自動(dòng)管理,客戶可以根據(jù)需要輕松擴(kuò)展容量,無需配置、擴(kuò)展或管理數(shù)據(jù)庫集群。要了解有關(guān)Amazon DocumentDB Elastic Clusters的更多信息,請(qǐng)?jiān)L問aws.amazon.com/documentdb/features/#elastic_clusters。

Amazon OpenSearch Serverless自動(dòng)擴(kuò)展搜索和分析工作負(fù)載。數(shù)以萬計(jì)的客戶使用Amazon OpenSearch Service支持網(wǎng)站搜索和實(shí)時(shí)應(yīng)用監(jiān)控等用例,這其中許多工作負(fù)載由于經(jīng)常出現(xiàn)間歇性使用高峰使得提前規(guī)劃容量非常困難。Amazon OpenSearch Serverless可以自動(dòng)置備、配置和擴(kuò)展OpenSearch基礎(chǔ)設(shè)施,即使對(duì)不可預(yù)測(cè)和間歇性的工作負(fù)載,也可以提供快速數(shù)據(jù)注入的能力以及毫秒級(jí)的查詢響應(yīng)。借助 Amazon OpenSearch Serverless,數(shù)據(jù)注入和搜索資源可以獨(dú)立擴(kuò)展,兩種操作并發(fā)運(yùn)行而不會(huì)影響性能。使用 Amazon OpenSearch Serverless的客戶可以獲得無服務(wù)器帶來的優(yōu)勢(shì)(如自動(dòng)配置、按需擴(kuò)展和按使用付費(fèi)定價(jià)等),還可以獲得Amazon OpenSearch Service的功能(如內(nèi)建的數(shù)據(jù)可視化)用以理解日志數(shù)據(jù)、識(shí)別異常、查看搜索相關(guān)性排名。要了解有關(guān)Amazon OpenSearch Serverless的更多信息,請(qǐng)?jiān)L問aws.amazon.com/opensearch-service/features/serverless。

Amazon Athena for Apache Spark將交互式分析的啟動(dòng)時(shí)間縮短到1秒以內(nèi)??蛻羰褂脽o服務(wù)器交互式查詢服務(wù)Amazon Athena。它使用標(biāo)準(zhǔn)SQL接口在Amazon Simple Storage Service(Amazon S3)查詢數(shù)據(jù),是查詢PB級(jí)數(shù)據(jù)最方便、最快的方式之一。很多客戶在使用Apache Spark時(shí)也希望有同樣的易用性(Apache Spark是一種開源處理框架,用于支持Java、Scala、Python和R等流行語言框架的大數(shù)據(jù)工作負(fù)載)。開發(fā)人員雖然很喜歡Apache Spark的快速查詢速度和易用性,但他們不想在每次運(yùn)行查詢時(shí)都花時(shí)間搭建、管理和擴(kuò)展Apache Spark基礎(chǔ)設(shè)施?,F(xiàn)在,使用Amazon Athena for Apache Spark,客戶已無需自己置備、配置和擴(kuò)展資源。交互式Apache Spark應(yīng)用的啟動(dòng)時(shí)間不到1秒,執(zhí)行速度比跑在亞馬遜云科技優(yōu)化版Spark runtime上的開源方案更快。由于Amazon Athena與其他亞馬遜云科技服務(wù)的集成,客戶可以從多個(gè)來源查詢數(shù)據(jù),將運(yùn)算串連在一起進(jìn)行復(fù)雜分析,并且將結(jié)果可視化。Amazon Athena for Apache Spark會(huì)根據(jù)應(yīng)用需求自動(dòng)確定所需的資源,并且按需擴(kuò)展,因此客戶只需為他們運(yùn)行的查詢付費(fèi)。要開始使用面向Apache Spark的Amazon Athena,請(qǐng)?jiān)L問aws.amazon.com/athena/spark。

Amazon Glue Data Quality自動(dòng)監(jiān)控和管理數(shù)據(jù)的時(shí)效性、準(zhǔn)確性和完整性。成千上萬客戶使用Amazon Glue快速、輕松且經(jīng)濟(jì)高效地構(gòu)建和管理現(xiàn)代數(shù)據(jù)管道。組織需要監(jiān)控其數(shù)據(jù)湖和數(shù)據(jù)管道中信息的數(shù)據(jù)質(zhì)量(衡量數(shù)據(jù)的時(shí)效性、準(zhǔn)確性和完整性),在確保數(shù)據(jù)的高質(zhì)量之后再將其用于分析或機(jī)器學(xué)習(xí)應(yīng)用。但數(shù)據(jù)質(zhì)量管理是一個(gè)耗時(shí)且復(fù)雜的過程,需要數(shù)據(jù)工程師花費(fèi)數(shù)天時(shí)間收集數(shù)據(jù)的詳細(xì)統(tǒng)計(jì)數(shù)字,根據(jù)這些統(tǒng)計(jì)數(shù)字信息手動(dòng)識(shí)別數(shù)據(jù)質(zhì)量規(guī)則,并將其應(yīng)用于數(shù)千個(gè)數(shù)據(jù)集和數(shù)據(jù)管道。在這些規(guī)則被付諸實(shí)施之后,數(shù)據(jù)工程師還必須持續(xù)監(jiān)控?cái)?shù)據(jù)中的錯(cuò)誤或變化并對(duì)規(guī)則進(jìn)行相應(yīng)的調(diào)整。Amazon Glue Data Quality可以自動(dòng)測(cè)量、監(jiān)控和管理Amazon S3數(shù)據(jù)湖和Amazon Glue數(shù)據(jù)管道的數(shù)據(jù)質(zhì)量,將數(shù)據(jù)分析和規(guī)則識(shí)別的時(shí)間從幾天縮短到幾小時(shí)。Amazon Glue Data Quality可以計(jì)算客戶數(shù)據(jù)集的統(tǒng)計(jì)數(shù)字(如最小值、最大值、直方圖和相關(guān)性),使用統(tǒng)計(jì)數(shù)字自動(dòng)地推薦規(guī)則,確保數(shù)據(jù)的時(shí)效性、準(zhǔn)確性和完整性。客戶可以安排Amazon Glue Data Quality在數(shù)據(jù)發(fā)生變化時(shí)定期運(yùn)行,自動(dòng)分析數(shù)據(jù)并提出質(zhì)量規(guī)則的更改建議以確保相關(guān)性。一旦出現(xiàn)質(zhì)量問題,數(shù)據(jù)工程師無需編寫代碼即可配置用戶提醒或終止數(shù)據(jù)管道。要了解有關(guān)Amazon Glue Data Quality的更多信息,請(qǐng)?jiān)L問aws.amazon.com/glue/features/data-quality。

Amazon Redshift現(xiàn)已支持多可用區(qū)部署。數(shù)以萬計(jì)的亞馬遜云科技客戶每天使用Amazon Redshift處理總計(jì)達(dá)EB級(jí)的數(shù)據(jù)。為了支持這些客戶的關(guān)鍵任務(wù)工作負(fù)載,Amazon Redshift提供了很多增加可用性和可靠性的功能,例如自動(dòng)備份以及在幾分鐘內(nèi)將集群重新在另一個(gè)可用區(qū)拉起的能力。當(dāng)前,許多數(shù)據(jù)庫使用主備復(fù)制模式來保證高可用性,單數(shù)據(jù)庫為在線流量提供服務(wù),備用副本從在線版本復(fù)制數(shù)據(jù)以備不時(shí)之需。在這些功能的基礎(chǔ)上,Amazon Redshift現(xiàn)在提供新的高可用配置功能以實(shí)現(xiàn)快速恢復(fù),同時(shí)最大限度地降低數(shù)據(jù)丟失風(fēng)險(xiǎn)。借助Amazon Redshift多可用區(qū)功能,客戶可以跨多個(gè)可用區(qū)部署集群,并且使用所有資源處理讀寫查詢,取消低利用率的備用副本,最大限度地提高性價(jià)比??蛻羧匀豢梢韵窆芾韱蝹€(gè)Amazon Redshift數(shù)據(jù)倉庫那樣,在一個(gè)端點(diǎn)管理多可用區(qū)數(shù)據(jù)倉庫,無需更改應(yīng)用即可保持業(yè)務(wù)連續(xù)性。要了解有關(guān)Amazon Redshift多可用區(qū)的更多信息,請(qǐng)?jiān)L問aws.amazon.com/redshift/reliability。

riskCanvas是Genpact提供的一種軟件即服務(wù)(SaaS)產(chǎn)品,是一種金融犯罪合規(guī)解決方案。它利用前沿的大數(shù)據(jù)、自動(dòng)化和機(jī)器學(xué)習(xí)技術(shù)幫助客戶保障合規(guī),提高效率,實(shí)現(xiàn)自動(dòng)化?!皉iskCanvas 的實(shí)體中心監(jiān)控產(chǎn)品包含了對(duì)交易監(jiān)測(cè)、外部資源、監(jiān)測(cè)列表篩選和負(fù)面新聞的分析并自動(dòng)評(píng)估風(fēng)險(xiǎn),僅在客戶的真實(shí)風(fēng)險(xiǎn)超過預(yù)定義閾值時(shí)提醒高風(fēng)險(xiǎn)客戶,從而大大減少了滿足合規(guī)要求的工作量。這需要大量的、多樣化的分析處理,通常會(huì)遇到峰值和不可預(yù)測(cè)的數(shù)據(jù)負(fù)載。”riskCanvas 首席技術(shù)官兼Genpact金融犯罪技術(shù)副總裁Ryan Skousen表示,“我們很高興可以使用Amazon OpenSearch Serverless。它可以自動(dòng)擴(kuò)展,滿足我們工作負(fù)載的數(shù)據(jù)注入和分析處理需求,并可以隨著需求的減少而縮減規(guī)模,大幅降低成本,所有這一切都不需要重新設(shè)計(jì)或維護(hù)。”

美國金融業(yè)監(jiān)管局(FINRA)是美國一個(gè)面向公眾開展業(yè)務(wù)的證券公司監(jiān)管機(jī)構(gòu),負(fù)責(zé)監(jiān)管股票、債券和期權(quán)交易?!癋INRA在Amazon Athena上開發(fā)應(yīng)用,使分析師和業(yè)務(wù)合作伙伴能夠安全地查詢每天更新的數(shù)TB金融交易數(shù)據(jù)?!盕INRA 高級(jí)主管Ratnakar Korem表示,“我們很高興看到Amazon Athena for Apache Spark的發(fā)布。它將把我們?cè)谑褂肁mazon Athena過程中非常滿意的分析速度和易用性體驗(yàn)帶到我們的按需分析和批處理分析。這種無服務(wù)器功能將使FINRA能夠?qū)Υ髷?shù)據(jù)進(jìn)行分析,不需要花精力明確定義計(jì)算資源和調(diào)整Apache Spark性能。這最終有助于監(jiān)管用戶和數(shù)據(jù)分析師快速響應(yīng)不斷變化的市場動(dòng)態(tài),節(jié)省時(shí)間和成本?!?

美國聯(lián)合航空公司經(jīng)營著龐大的國內(nèi)和國際航線網(wǎng)絡(luò),橫跨美國和所有六大洲的大小城市。“聯(lián)合航空公司正在為客戶和員工構(gòu)建數(shù)百個(gè)數(shù)據(jù)和分析驅(qū)動(dòng)的工具,管理和維護(hù)數(shù)據(jù)質(zhì)量對(duì)我們的運(yùn)營至關(guān)重要?!甭?lián)合航空公司數(shù)據(jù)工程總監(jiān)Sarang Bapat表示,“我們很高興使用Amazon Glue Data Quality。它將使我們能夠在幾分鐘內(nèi)自動(dòng)識(shí)別和分析數(shù)據(jù)質(zhì)量問題并采取行動(dòng),幫助我們做出明智、及時(shí)和準(zhǔn)確的決策,并且節(jié)省大量花在手動(dòng)定位和修復(fù)各種數(shù)據(jù)問題上的時(shí)間。”

楊森制藥(Janssen Pharmaceuticals)是強(qiáng)生公司的子公司,致力于研究和生產(chǎn)藥品,重點(diǎn)關(guān)注患者和醫(yī)療保健行業(yè)不斷變化的需求?!皸钌扑幨褂肁mazon Redshift實(shí)現(xiàn)關(guān)鍵的洞察,賦能數(shù)據(jù)科學(xué)家、數(shù)據(jù)管理員、業(yè)務(wù)用戶和外部利益相關(guān)者做出重要的業(yè)務(wù)決策?!睆?qiáng)生旗下楊森制藥信息技術(shù)總監(jiān)Shyam Mohapatra表示,“Amazon Redshift的多可用區(qū)功能可以確保我們的數(shù)據(jù)倉庫隨時(shí)可用,確保我們可以及時(shí)做出重要業(yè)務(wù)決策。”

亞馬遜云科技 數(shù)據(jù)庫 PB級(jí)數(shù)據(jù)處理 分析服務(wù)

一周熱門