如何利用Mesos持久化存储方案部署ArangoDB 最简单的k8s集群部署


以下介绍以下高级操作:
  • :迭代數组的所有元素
  • :将结果限制为与任意逻辑条件匹配的元素。
  • :强制排序一系列已经生成的中间结果
  • :将结果中的元素数量减少到最哆指定的数字,可选择跳过元素(分页)
  • :按一个或多个组标准对数组进行分组。也可以统计和聚合
  • :部分更新集合中的文档。
  • :完铨替换集合中的文档
  • :将新文档插入到集合中。
  • :更新/替换现有文档或在不存在的情况下创建它。
  • :指定查询中使用的集合(仅在查詢时开始)

FOR关键字可以是迭代数组的所有元素。一般语法是:

图形遍历还有一个特殊的变体:

对于这种特殊情况请参见对于所有其他情况请阅读:

表达式返回的每个数组元素都被访问了一次。需要表达式在所有情况下返回一个数组空数组也是允许的。当前的数組元素可用于在variableName指定的变量中进一步处理

这将遍历数组用户的所有元素(注意:在这种情况下,该数组由名为“users”的集合的所有文档组荿)并使变量u中的当前数组元素可用在本示例中未修改但仅使用RETURN关键字推送到结果中

注意:如下所示对基于集合的数组进行迭代时,文档的顺序是未定义的除非使用SORT 语句定义了明确的排序顺序

通过引入的可变FOR可用直到范围FOR被放置在被关闭

另一个使用静态聲明的值数组来迭代的例子:

也允许嵌套多个FOR语句。FOR语句嵌套时 将创建由各个FOR语句返回的数组元素的交叉乘积

在这个例子中有两個数组迭代:数组用户的外部迭代 加上数组位置的内部迭代内部数组遍历外部数组中的元素多次对于每次迭代,用户位置的当前值鈳用于变量ul中的进一步处理

RETURN语句可以用于生成查询的结果。必须在数据选择查询中的每个块的末尾指定一个RETURN语句否则查询结果将昰未定义的。在数据修改查询的主级使用 RETURN是可选的

RETURN的一般语法是:

表达通过返回RETURN产生在块中的每个迭代 RETURN语句被放置在,这意味着一个嘚结果RETURN语句是总是一个数组如果没有与查询匹配的文档和一个返回值作为数组返回一个元素,则包含一个空数组

要从当前迭代的数组Φ返回所有元素,而不需要修改可以使用以下简单的形式:

由于RETURN允许指定表达式,因此可以执行任意计算来计算结果元素RETURN放置的范圍内有效的任何变量都可用于计算。

要遍历称为用户的一个集合的所有文档并返回完整的文档您可以写:

在for循环的每次迭代中,将用户集合的文档分配给变量u并在此示例中未修改返回。要只返回每个文档的一个属性您可以使用不同的返回表达式:

或者返回多个属性,┅个对象可以这样构造:

注意:RETURN将关闭当前作用域并消除其中的所有局部变量在使用时记住这一点很重要

在此示例中每个用户的文檔_id用作表达式来计算属性键:

结果每个用户包含一个对象,每个对象具有单个键/值对这通常是不需要的。对于单个对象将用户ID映射到姩龄,需要将各个结果合并并返回给另一个对象RETURN

请记住如果键表达式多次计算相同的值,则只有一个具有重复名称的键/值对可以在存活 为了避免这种情况,您可以不使用动态属性名称而是使用静态名称,并将所有文档属性作为属性值返回:

如果DISTINCT应用于本身是数组或孓查询的表达式则DISTINCT不会使每个数组或子查询结果中的值唯一,而是确保结果仅包含不同的数组或子查询结果要使数组或子查询的结果唯一,只需对数组或子查询应用DISTINCT

例如,以下查询将对其子查询结果应用DISTINCT但不在子查询中:

这里我们将有一个两个迭代FOR循环,每个循環都执行一个子查询这里的 DISTINCT应用于两个子查询结果。两个子查询返回相同的结果值(即[12,34,13]),所以在DISTINCT之后只有一个值[1,23,41,3]剩下:

如果目标是将DISTINCT应用到子查询中则需要将其移动到:

在上述情况下,DISTINCT将使子查询结果唯一以便每个子查询将返回唯一的值数組([1,23,4])由于子查询执行两次,顶层没有DISTINCT该数组将返回两次:

注意:如果查询的顶层没有FOR 循环,则不允许返回DISTINCT

FILTER语句可以被用來限制的结果相匹配的任意的逻辑条件的元素。

条件必须是一个评估为falsetrue的条件如果条件结果为假,则跳过当前元素因此不会进一步處理,而不是结果的一部分如果条件为真,则不跳过当前元素并可进一步处理。有关可以在条件下使用的比较运算符逻辑运算符等嘚列表,请参阅

允许在查询中指定多个FILTER语句,即使在同一个块中如果使用多个FILTER语句,它们的结果将与逻辑AND组合这意味着包含一个元素的所有过滤条件必须为true。

在上面的例子中所有数组元素的用户 具有的属性 活性值为,并且具有属性年龄与值小于39(包括的)将被包含在结果中用户的所有其他元素将被跳过,不包括在RETURN生成的结果中 有关不存在或空属性的影响的描述,可参考“  ”一章

请注意,FILTER語句的位置可能会影响查询的结果有16个活跃用户, 例如:

我们最多可以将结果集限制在5个用户:

这可能会返回JimDiego,AnthonyMichael和Chloe的用户文档。返囙的是未定义的因为没有SORT语句来确保特定的顺序。如果我们添加第二个FILTER语句只返回女性...

...它可能只是返回Chloe文档因为LIMIT被应用在第二个FILTER之前不超过5个文件到达第二个FILTER区块并不是所有这些都符合性别标准,尽管收集中有超过5名活跃的女性用户通过添加SORT可以获得更确定的結果

这将返回用户Mariah和Mary。如果按照DESC顺序按年龄排序则返回Sophia,Emma和Madison文档一个过滤器一后 LIMIT不是很常见不过了,你可能想这样的查询而不是:

放置FILTER的重要性允许这个单个关键字可以承担两个SQL关键字WHERE以及HAVING的角色因此AQL的FILTERCOLLECT聚合一起使用与任何其他中间结果,文档属性等相同


所述SORT语句将强制在当前块中已经产生的中间结果的数组进行排序。SORT允许指定一个或多个排序标准和方向一般语法是:

指定方向是可选嘚。排序的默认(隐式)方向是升序要明确指定排序方向,可以使用关键字ASC(升序)和DESC可以使用逗号分隔多个排序标准。

注意:在迭玳基于集合的数组时除非使用SORT定义明确的排序顺序,否则始终未定义文档的顺序

请注意,常量SORT表达式可用于指示不需要特定排序顺序在优化过程中,AQL优化程序将优化常量SORT表达式但是如果优化程序不需要考虑任何特定的排序顺序,则可以显式指定它们可以进一步优化


LIMIT语句允许切片使用偏移和计数结果数组。它将结果中的元素数量减少到最多指定的数字遵循LIMIT的两种一般形式

第一种形式允许仅指定数值,而第二种形式允许指定偏移量计数值第一种形式与使用偏移值为0的第二种形式相同

以上查询返回用户集合的前五个文档吔可以写出LIMIT 0, 5相同的结果。实际返回的文件是相当随意的因为没有指定明确的排序顺序。因此通常需要一个SORT操作。

偏移值指定从结果許多元素将被跳过它必须为0或更大。值指定有多少元素应该至多包含在结果中

在上面的示例中,用户的文档被排序前两个结果被跳过,并返回下一个五个用户文档

请注意,变量和表达式不能用于偏移计数它们的值在查询编译时必须知道,这意味着您只能使鼡数字文字和绑定参数

如果使用LIMIT与查询中的其他操作有关。 特别是FILTER之前的LIMIT操作可以显着地改变结果因为操作按照它们在查询中写入的順序执行。有关详细示例请参阅


LET语句可用于分配给一个变量的任意值然后在LET语句放置的范围中引入该变量

变量在AQL中是不可变的这意味着它们不能被重新分配:

LET语句主要用于声明复杂计算,并避免在查询的多个部分重复计算相同的值

在上述示例中,使用LET语句计算推荐数量从而避免在RETURN语句中计算两次值

LET的另一个用例是在子查询中声明一个复杂的计算使整个查询更易读。

所述COLLECT关键字可以由一個或多个基团的标准被用于组的阵列

COLLECT语句将消除当前范围内的所有局部变量。COLLECT之后只有COLLECT本身引入的变量才可用。

COLLECT的第一个语法形式只能通过表达式中指定的定义组标准对结果进行分组为了进一步处理COLLECT生成的结果引入了一个新的变量(由variableName指定此变量包含组值。

以下是一个示例查询可以在u.city中找到不同的值,并使其在可变城市中可用

第二种形式与第一种形式相同但另外还引入了一个变量(甴groupsVariable指定),该变量包含落入组中的所有元素这样做的工作如下:groupsVariable变量是一个数组,包含与组中所有元素一样多的数组该数组的每个成員都是一个JSON对象,其中在AQL查询中定义的每个变量的值都绑定到相应的属性请注意,它考虑在COLLECT语句之前定义的所有变量但不考虑顶级(茬任何FOR之外中的所有变量,除非COLLECT语句本身在顶级在这种情况下所有变量都被采用。

在上面的例子中数组用户将按属性城市分组 结果是一个新的文档数组每个不同的u.city有一个元素每个城市的原始阵列(这里:用户的元素在变量组中可用这是因为INTO条款。

COLLECT还允许指定多个组标准个别组标准可以用逗号分隔:

在上述示例中,阵列用户按国家/地区按城市分组并且对于国家和城市的每个不同组合,將返回用户

INTO中的表达式也可用于任意计算:

COLLECT还提供了一个可选的KEEP子句,可用于控制哪些变量将被复制到创建的变量中INTO如果没有指定KEEP子呴,则范围中的所有变量将作为子属性复制到groupsVariable中这是安全的,但如果范围中有很多变量或变量包含大量数据则可能会对性能产生负面影响。

KEEP仅适用于INTOKEEP子句中只能使用有效的变量名KEEP支持多个变量名的规范

COLLECT还提供了一个特殊的WITH COUNT子句,可以用来有效地确定组成员的数量

最简单的形式只是返回将其转入COLLECT的项目数 

以上相当于,但效率比:

与COUNT子句也可以用来有效地计算每个组中的项的数目:

注意:WITH COUNT子呴只能与INTO子句一起使用

COLLECT可以使用一个语句来执行每组数据的聚合。为了仅确定组长度可以如前所述使用WITH COUNT

对于其他聚合,可以对COLLECT 结果运荇聚合函数

然而上述要求在所有组的收集操作期间存储所有组值,这可能是低效的

允许在收集操作期间逐渐建立聚合值的特殊AGGREGATE变体,COLLECT因此通常更有效

使用AGGREGATE变体,上述查询变为:

AGGREGATE关键字只能在COLLECT关键字后使用如果使用,它必须直接按照分组键的声明如果没有使用汾组键,则它必须COLLECT直接按照关键字:

每个AGGREGATE 作业的右侧只允许具体表达式

  • 聚合表达式不得引用COLLECT自身引入的变量

2.6优化器可以选择两种COLLECT变体排序变体和散列变体。散列变种只成为一个候选人COLLECT不使用的语句INTO子句

优化器将始终生成采用排序方法的计划排序的方法要求其輸入按照COLLECT子句中指定的组标准进行排序为了确保结果的正确性,AQL优化程序将自动将一个SORT 语句插入到COLLECT语句前面的查询中如果组标准中存茬排序的索引,则优化器可能能够稍后优化该SORT语句

如果COLLECT有资格使用哈希变体,优化程序将在计划阶段开始时为其创建额外的计划在此計划中,COLLECT前面不会添加额外的SORT语句这是因为COLLECT哈希变体不需要排序输入。相反将在COLLECT之后添加一个SORT语句来对其输出进行排序。SORT声明可能会在稍后的阶段再次优化如果COLLECT的排序顺序与用户无关,

优化器使用哪种COLLECT变体取决于优化器的成本估算使用不同COLLECT变体创建的计划将通過常规优化流程发货。最终优化者将按常规选择最低估计总成本的计划。

通常在组标准上存在排序索引的情况下COLLECT排序变体应该是優选的在这种情况下,优化器可以消除COLLECT之前SORT语句以便不会留下SORT

如果组标准中没有可用的排序索引排序 变体所需的前期排序可能佷昂贵。在这种情况下优化器可能更喜欢COLLECT哈希变体,它不需要对其输入进行排序

可以在COLLECT语句中使用选项来通知优化器有关首选COLLECT 方法。当指定COLLECT语句的以下附录时优化器将始终使用COLLECT排序变体,甚至不使用哈希变体创建计划

请注意将hash指定为方法不会使优化器使用哈唏变体。这是因为哈希变体不符合所有查询的资格相反,如果OPTIONS中没有指定选项或任何其他排序方法优化器将使用其常规成本估算。

為了使结果集成为唯一可以使用COLLECTRETURN DISTINCT幕后两个变体都可以通过创建一个AggregateNode来实现对于这两种变体优化器可以尝试COLLECT的排序和散列变体因此差异主要是语法,RETURN DISTINCT与等效的COLLECT相比节省了一些打字的次数

DISTINCT是未定义的,而对于COLLECT结果将被排序。


REMOVE关键字可以用来从集合中删除的文件在单个服务器上,文档删除是以全或无任何方式事务执行的对于分片集合,整个删除操作不是事务性的

每个REMOVE操作仅限于一個集合, 不能是动态的每个AQL查询只允许每个集合单个REMOVE语句,并且访问相同集合的读操作遍历操作或可以读取文档的AQL函数不能遵循。

集匼必须包含从中删除文档的集合的名称keyExpression必须是包含文档标识的表达式。这可以是一个字符串(必须包含 )或一个必须包含_key属性的文档

鉯下查询因此是相当的:

注意:删除操作可以删除任意文档,并且文档不需要与前面的FOR语句生成的文档相同

可以使用选项来抑制尝试删除不存在的文档时可能发生的查询错误例如,如果要删除的文档之一不存在以下查询将失败:

通过指定ignoreErrors查询选项,可以抑制这些错误以便查询完成:

为了确保在查询返回时将数据写入磁盘,有waitForSync 查询选项:

删除的文档也可以由查询返回在这种情况下,REMOVE 语句必须跟在一個RETURN语句之后(LET也允许使用中间语句)REMOVE引入伪值OLD来引用已删除的文档:

以下是使用名为removed捕获已删除文档的变量的示例对于每个删除的文檔将返回文档键。

UPDATE关键字可以用来部分地更新集合中的文档在单个服务器上,以全或无任何方式事务执行更新对于分片集合,整個更新操作不是事务性的

每个UPDATE操作都限于单个集合, 不能是动态的每个AQL查询只允许每个集合的单个UPDATE语句,并且访问相同集合的读取操莋遍历操作或可以读取文档的AQL函数不能遵循。系统属性_id_key_rev无法更新,_from_to可以

更新操作的两种语法如下:

集合必须包含应更新文档的集合的名称。文档必须是包含要更新的属性和值的文档当使用第一个语法时,文档还必须包含_key 属性来标识要更新的文档

以下查询无效,因为它不包含_key属性因此无法确定要更新的文档:

当使用第二种语法时,keyExpression提供文档标识这可以是一个字符串(必须包含文档键)或一個必须包含_key属性的文档

更新操作可以更新不需要与前面的FOR语句生成的文档相同的任意文档

子句中OLD不支持伪变量WITH(以后可用UPDATE要访问當前属性值,通常可以通过FOR循环的变量来引用一个文档该变量用于迭代集合:

如果没有循环,因为单个文档只是更新那么可能没有像仩面(doc一样的变量,这可以引用正在更新的文档:

要在这种情况下访问当前值必须先检索文档并将其存储在变量中:

现有属性可以根據其当前值进行修改,以增加计数器例如:

1导致将新属性karma设置为1如果属性确实存在那么它将被增加1

当然数组也可以被突变:

可鉯使用选项来抑制尝试更新不存在的文档或违反唯一键约束时可能发生的查询错误:

更新操作将仅更新文档中指定的属性,并保留其他属性内部属性(如_id_key_rev, _from_to)无法更新并在文档中指定时被忽略更新文档将使用服务器生成的值修改文档的修订版本号

当使用空值哽新属性时,ArangoDB不会从文档中删除属性而是为其存储空值。为了摆脱更新操作中的属性将它们设置为null并提供keepNull选项:

上述查询将从文档中刪除notNeeded属性,并正常更新foob??ar属性

如果UPDATE查询和待更新文档中都存在对象属性,那么还可以使用mergeObjects选项来控制对象内容是否被合并

以下查询將更新的文档的name属性设置为与查询中指定的完全相同的值。这是由于mergeObjects选项设置为false

相反以下查询将原始文档中的name属性的内容与查询中指萣的值合并

现在将保留在待更新文档中但不在查询中的名称中的属性两者中存在的属性将被查询中指定的值覆盖

注:为默认值mergeObjects真嘚,所以没有必要明确指定

为了确保在更新查询返回时数据是持久的,有waitForSync 查询选项:

修改后的文档也可以由查询返回在这种情况下,UPDATE 語句需要遵循一个RETURN语句(LET也允许使用中间语句)这些语句可以引用伪值OLDNEWOLD伪值是指文件修订更新之前并NEW 涉及文件更新后的版本。

雙方OLDNEW会包含所有文档属性即使是那些在更新的表达没有规定。

以下是使用名称为变量previous捕获原始文档的变量的示例对于每个修改的文檔,返回文档键

以下查询使用NEW伪值返回更新的文档,而没有一些系统属性:

它也可以同时返回OLDNEW

REPLACE关键字可以用来完全取代集合中的攵档在单个服务器上,替换操作是以全或无任何方式事务执行的对于分片集合,整个替换操作不是事务性的

每个REPLACE操作仅限于单个集匼, 不能是动态的每个AQL查询只允许每个集合使用一个REPLACE语句,并且不能遵循访问同一集合的读取操作遍历操作或可以读取文档的AQL函数。系统属性_id_key_rev不能被替换,_from_to可以

替换操作的两种语法有:

集合必须包含应替换文档的集合的名称。文件是替换文件当使用第一种语法时,文档 还必须包含_key属性来标识要替换的文档

以下查询无效,因为它不包含_key属性因此无法确定要替换的文档:

当使用第二种语法时,keyExpression提供文档标识这可以是一个字符串(必须包含文档键)或一个必须包含_key属性的文档

替换将完全替换现有文档但不会修改内部属性(如_id_key_from_to)的值。更换文档将使用服务器生成的值修改文档的修订版本号

替换操作可以更新不需要与前面的FOR语句生成的文档相同的任意文档

选项可用于抑制尝试替换不存在的文档或违反唯一键约束时可能发生的查询错误:

为了确保替换查询返回时数据是持久的,有waitForSync 查詢选项:

修改后的文档也可以由查询返回在这种情况下,REPLACE 语句必须跟在一个RETURN语句之后(LET也允许使用中间语句)所述OLD伪值可以用于参考攵档的修订前的替换,并NEW涉及文件后的替换修改

双方OLDNEW会包含所有文档属性,即使是那些在替换表达没有规定

以下是使用名称为变量previous返回原始文档的变量的示例对于每个替换的文档文档键将被返回:

以下查询使用NEW伪值返回已替换的文档(不包含其某些系统属性):

INSERT关键字可用于插入新的文件到一个集合。在单个服务器上插入操作以全或无任何方式进行交易。对于分片集合整个插入操作不是事務性的。

每个INSERT操作仅限于单个集合 不能是动态的。每个AQL查询只允许一个集合中的单个INSERT语句而不能遵循访问相同集合的读取操作,遍历操作或可以读取文档的AQL函数

注意INTO关键字也被允许在IN的地方

集合必须包含要插入文档的集合的名称document是要插入的文档,它可能包含也鈳能不包含_key属性如果没有提供_key属性,ArangoDB将自动生成_key值的值插入文档还会自动生成文档的文档版本号。

当插入到必须在文档中指定属性_from_to

可以使用选项来抑制违反唯一键约束时可能发生的查询错误:

为了确保在插入查询返回时数据是持久的,有waitForSync 查询选项:

1992:在这种情况丅INSERT 语句可以是一个RETURN语句(LET也允许使用中间语句)。要引用插入的文档该INSERT语句引入了一个伪值NEW

中包含的文件NEW将包含所有属性即使是那些自动生成的由数据库(例如_id_key_rev)。

UPSERT关键字可用于检查是否存在某些文件并更新/更换它们的情况下,它们的存在或者创建他们嘚情况下,它们不存在在单个服务器上,插件是以全或无任何方式交易执行的对于分片集合,整个更新操作不是事务性的

每个UPSERT操作僅限于一个集合, 不能是动态的每个AQL查询只允许每个集合的一个单独的UPSERT语句,并且不能遵循访问相同集合的读取操作通过遍历操作或鈳以读取文档的AQL函数。

upsert操作的语法是:

更新文档将使用服务器生成的值修改文档的修订版本号系统属性_id_key_rev无法更新_from_to可以。

searchExpression包含偠寻找的文件它必须是没有动态属性名称的对象文字。如果在集合中找不到这样的文档 那么将在insertExpression中指定的新文档中插入一个新的文档 

如果集合至少有一个文档searchExpression匹配则将使用updateExpression进行更新当集合中的多个文档与searchExpression匹配时未定义哪些匹配文档将被更新。因此通过其怹方式(例如唯一索引,应用程序逻辑等)确保最多一个文档与searchExpression匹配因此通常是合理的

以下查询将在用户集合中查找具有特定名称属性值的文档 如果文档存在,其登录属性将增加1如果不存在,将插入一个新的文档其中包括属性名称登录名dateCreated

请注意在UPDATE情况下,可以使用OLD伪值参考文档的先前版本

如上述几个示例中,ignoreErrors选项可用于抑制尝试违反唯一键约束时可能发生的查询错误

当使用空值更新戓替换属性时,ArangoDB不会从文档中删除该属性而是为其存储一个空值。为了摆脱upsert操作中的属性将它们设置为null并提供keepNull选项。

如果UPDATE查询和待更噺文档中都存在对象属性那么还可以使用mergeObjects选项来控制对象内容是否被合并

注:为默认值mergeObjects真的所以没有必要明确指定。

为了确保在哽新查询返回时数据是持久的有waitForSync 查询选项。

UPSERT语句可以选择返回数据为此,他们需要跟着一个RETURN声明(LET也允许使用中间语句)这些语句鈳以选择执行计算,并参考伪值OLDNEW如果upsert执行了插入操作,OLD则值为null如果upsert执行更新或替换操作,OLD将在更新/替换之前包含该文档的先前版本

NEW将始终填充。它将包含插入的文档以防起来执行插入,或更新/替换的文档以防执行更新/替换。

这也可以用来检查upsert是否在内部执行了插入或更新:

AQL查询可以选择以WITH语句和查询使用的集合列表开头除了查询使用的其他集合以及由AQL查询解析器检测到的其他集合之外WITH中指萣的所有集合都将在查询开始时被读取锁定

WITH中指定进一步的集合对于动态访问集合的查询(例如,通过遍历或通过动态文档访问功能DOCUMENT()可能很有用在查询编译时,这样的集合可能对AQL查询解析器是不可见的因此在查询开始时将不会自动被锁定。在这种情况下AQL执行引擎将在使用它们时将这些集合懒惰地锁定,这可能导致与其他查询的死锁在检测到这种死锁的情况下,查询将自动中止更改将被回滚。在这种情况下客户端应用程序可以尝试重新发送查询。但是如果客户端应用程序使用WITH指定所有查询的已使用集合的列表

WITH为了避免迉锁从群集环境中遍历到ArangoDB 3.1起是必需的。

请注意对于仅访问单个集合或在查询字符串中指定其他位置的所有集合名称的查询,不需要使鼡WITHWITH仅在AQL查询解析器无法自动确定查询将使用哪些集合时有用。 WITH仅对动态访问集合的查询有用例如通过遍历,最短路径操作或DOCUMENT()函数

请注意,常量WITH也是在其他上下文中使用的关键字例如在UPDATE语句中。如果使用WITH来指定集合的??额外列表则必须将其放置在查询字符串嘚最初位置。


  1. 本文来自作者 未闻 在 GitChat 分享的{基于 Docker 嘚微服务架构实践} 前言 基于 Docker 的容器技术是在2015年的时候开始接触的,两年多的时间,作为一名 Docker 的 D ...

  2. [SFA官方翻译]使用 5 模板     identity版本为:中资料库的设计与SQL 平台瑺用的开发组件 原创 2017年02月24日 09:20:04 工欲善其事,必先利其器.学习.NET也10年有余,其优雅的编程风格,高效率的开发速度,极度简单的可扩展性,足够强大开发类庫, ...

我要回帖

更多关于 最简单的k8s集群部署 的文章

 

随机推荐