中國IDC圈5月30日報道,Amazon最近發布了旗下Amazon Kinesis Service的更新。在此次更新中,Amazon Kinesis Streams和Amazon Kinesis Firehose處事增加了三個新成果,,包羅支持Elasticsearch Service Integration(Elasticsearch處事集成)、Shard-Level Metrics(Shard級懷抱指標),以及Time-Based Iterators(基于時間的迭代器)。
Amazon Elasticsearch處事集成
Kinesis Firehose與Amazon Elasticsearch的集成使得開拓者可以或許將數據從Amazon Kinesis Firehose交付流(Delivery stream)移動至Amazon Elasticsearch處事群集。
跟著數據進入Kinesis Firehose交付流,將按照設置舉辦緩沖,隨后通過批量插入的方法將其存入Elasticsearch處事。這些交付流還可以通過AWS打點節制臺舉辦壓縮和加密。
這種集成的利用場景包羅處事器日志的索引和闡明,點擊流和社交媒體流量等。AWS產物計謀總司理Matt Wood暗示,這個新成果“很是適合日志闡明和應用措施監督”。
一旦將數據宣布至Elasticsearch,隨后即可利用諸如Kibana等東西對其舉辦闡明和可視化。
Shard級懷抱指標
一個Kinesis Stream可包括一個或多個Shard。Kinesis Stream中的Shard代表讀寫本領。每個Shard可提供1MB/秒數據輸入和2MB/秒數據輸出。Shard將憑據利用小時數收費,每秒鐘最多可處理懲罰1000筆記錄。
新提供的Shard級懷抱指標可供用戶相識Kinesis Stream中每個Shard機能的具體信息。總的來說,今朝共有6個可費用量指標,每個指標的狀態每分鐘更新一次。這些懷抱指標將憑據CloudWatch每個指標的訂價模子舉辦收費。
Amazon已經發布了今朝Kinesis Streams可用的每個懷抱指標的具體信息:
IncomingBytes – 已經樂成PUT至Shard的字節數量。 IncomingRecords – 已經樂成PUT至Shard的記錄的數量。 IteratorAgeMilliseconds – 針對一個Shard挪用GetRecords所返回的最后一筆記錄的壽命(以毫秒計)。值為“0”意味著今朝正在讀取的記錄已經完全遇上了流的速度。 OutgoingBytes – 從Shard得到的字節數量。 OutgoingRecords – 從Shard得到的記錄數量。 ReadProvisionedThroughputExceeded -通過GetRecords獲取的高出每秒5次讀取或每秒2MB數據的限制的Shard數量。WriteProvisionedThroughputExceeded – 由于超出Shard每秒1000筆記錄或每秒1MB數據的限制而舉辦限流后,已經被拒絕的記錄數量。
用戶可以利用這些信息估算本身的系統機能。譬喻可以檢測上游應用措施宣布數據的速度是否過快,高出了下游應用措施(Consuming application)的處理懲罰本領進而發生吞吐率瓶頸。
基于時間的迭代器
當應用措施從流中讀取數據時,為了以正確的順序拉取正確的數據,需要追蹤數據在流中的位置。在Kinesis Streams中可以利用迭代器實現該成果。在本次更新之前可以利用順序號、最老記錄或最新記錄作為迭代器。
在AWS的此次更新中,用戶已經可以指按時間戳抉擇要從那邊開始處理懲罰本身的流。這種成果的一個用例是:當下游應用措施經驗打算內停機時,宣布方大概依然在向流中宣布新數據。默認環境下,Kinesis Stream最多可存儲24小時的數據,這樣消費應用措施就可以通過提供時間戳,從上次間斷的處所繼承處理懲罰流中宣布的數據。