Spark新手入门——1.Scala环境准备
主要包括以下三部分，本文为第一部分： 一. Scala环境准备 二. Hadoop集群(伪分布模式)安装 "查看" 三. Spark集群(standalone模式)安装 "查看" 因Spark任务大多由Scala编写，因此，首先需要准备Scala环境。 注：楼主实验环境为mac os Scala环境 ...
程序员文章站2023-11-07Scala当中什么是RDD（Resilient Distributed Datasets）弹性分布式数据集
Scala当中什么是RDD（Resilient Distributed Datasets）弹性分布式数据集 ...
程序员文章站2023-11-04Scala 孤立对象和单例对象方法体的用法和例子
[学习笔记] 1 以object关键字修饰一个类名，这种语法叫做孤立对象，这个对象是单例的。 相当于将单例类和单例对象同时定义。相当于java中的单例，即在内存中只会存在一个Test3实例。创建一个Scala Object，它相当于java的static， 不要用Scala-class去建工程，不然 ...
程序员文章站2023-11-04eclipse scala Could not reserve enough space for object heap
eclipse scala Could not reserve enough space for object heap ...
程序员文章站2023-10-16Scala当中什么是Transformation和 Action，以及它们俩的区别是什么？
Scala当中什么是Transformation和 Action，以及它们俩的区别是什么？ ...
程序员文章站2023-04-05Scala中正则表达式以及与模式匹配结合(多种方式)
正则表达式 //"""原生表达 val regex="""([0-9]+)([a-z]+)""".r val numpattern="[0-9]+".r
程序员文章站2023-02-02详解Java中的scala正则表达式
scala 通过 scala.util.matching 包中的 regex 类来支持正则表达式。 eg：使用正则表达式查找单词 scala 实例中使用 strin
程序员文章站2023-02-02Scala Data Structure
Arrays 固定长度； 可变长度 , 初始化是不要使用 使用 访问元素 使用 创建的默认为 的 hash map 可变的 Map 需要显式指定 创建空的 Map 需指定类型 Map 是键值对的集合，键值对类型可不相同 等价于 ；创建的另一种写法 访问 //返回 Option // 返回实际值 mu ...
程序员文章站2022-12-22Scala快速入门 - 基础语法篇
"Scala快速入门 基础语法篇" ...
程序员文章站2022-10-30SparkSQL & Scala
Spark SQL重度依赖Scala的语言特性，让SQL编译程序变得简单直接，特别是Spark SQL其核心代码库Tree结构，作者用直接明了的展示了代码，如何完成语法树的操作和变化，包括基于规则的性能优化等，把Scala语言的特性发挥淋漓极致，是学习Spark SQL内核代码的必备教材。 精力有限 ...
程序员文章站2022-10-30IT编程DataFrame:通过SparkSql将scala类转为DataFrame的方法
如下所示： import java.text.decimalformat import com.alibaba.fastjson.json import co
程序员文章站2022-10-29scala函数式编程（二） scala基础语法介绍
上次我们介绍了函数式编程的好处，并使用scala写了一个小小的例子帮助大家理解，从这里开始我将真正开始介绍scala编程的一些内容。 ...
程序员文章站2022-10-25IT编程Scala 系列（二）—— 基本数据类型和运算符
一、数据类型 1.1 类型支持 Scala 拥有下表所示的数据类型，其中 Byte、Short、Int、Long 和 Char 类型统称为整数类型，整数类型加上 Float 和 Double 统称为数值类型。Scala 数值类型的取值范围和 Java 对应类型的取值范围相同。 | 数据类型 | 描述 ...
程序员文章站2022-10-19IT编程Scala微服务架构 一
Scala微服务架构 一 ========= 因为公司的一个项目需求变动会非常频繁，同时改动在可控范围内，加上产品同学喜欢一些超前思维，我们的CTO决定提前开启八门，使用微服务架构。 那么什么是微服务架构呢? 1.1 微服务架构 “微服务”架构是近期软件应用领域非常热门的概念。 1.1.1 什么是微 ...
程序员文章站2022-10-05IT编程Scala练习三
1. 1. 编写一段代码，将a设置为一个包含n个随机整数的数组，要求随机数介于0（包含）和n（不包含）之间 def main (args: Array[String]) { cre
程序员文章站2022-09-28Scala协变和逆变【关键在于找到谁是爸爸】
一、协变与逆变的介绍正常来说创建一个Person类，然后可以创建一个Student类继承Person来继承他。当我们创建对象的时候可以用父类类型指向子类实例。再java中父类类型指向子类实例是可以的，当然再scala中也是可以存在的。但是如果是list[Person]那就不是list[Student...
程序员文章站2022-09-17Spark Scala当中reduceByKey(_+_) reduceByKey((x,y) => x+y)的用法
Spark Scala当中reduceByKey(_+_) reduceByKey((x,y) => x+y)的用法 ...
程序员文章站2022-08-28Scala编程详解条件控制与循环
if表达式: (1)if表达式的定义：在Scala中，if表达式是有值的，就是if或者else中最后一行语句返回的值。 ·例如，val age = 30; if (age
程序员文章站2022-08-13scala中_(下划线)使用场景总结
1、方法转函数 def m1(x:Int):Int=x*10 val func1=m1 _ 2、在集合中使用（表示集合中的每一个元素） val list1=List(1,2,3,4,5
程序员文章站2022-08-13Scala学习(一)
1.scala面向行的语言,一句是一行的话,末尾的分号可有可无. 2.数据类型: Byte Short Int Long Float Double Char String Boolean,Unit,Nothing,Any,AnyRef 3.变量声明:(声明时必须赋初始值) ①变量: var str ...
程序员文章站2022-08-03