Scala PySpark Big Data na prática: o código e os comandos que realmente importam

// Digite estes comandos um por um no spark-shell :

scala> import spark.implicits._
// já importado automaticamente, mas útil se você criar sua própria SparkSession

scala> val data = Seq(("Java", "20000"), ("Python", "100000"), ("Scala", "3000"))
// data: Seq[(String, String)] = List((Java,20000), (Python,100000), (Scala,3000))

scala> val df = data.toDF()
// df: org.apache.spark.sql.DataFrame = [_1: string, _2: string]

scala> df.show()
// +------+------+
// |    _1|    _2|
// +------+------+
// |  Java| 20000|
// |Python|100000|
// | Scala|  3000|
// +------+------+

scala> val df = data.toDF("linguagem", "ofertas")
scala> df.show()
// +-------+------+
// |linguagem|ofertas|
// +-------+------+
// |   Java| 20000|
// | Python|100000|
// |  Scala|  3000|
// +-------+------+

// Exibir a ajuda completa (lista de todos os comandos especiais)
scala> :help

// Etapa 1 : digite :paste e pressione Enter
scala> :paste
// Entering paste mode (ctrl-D to finish)

// Etapa 2 : cole seu código multilinha
val nomes = Seq("Alice", "Bob", "Charlie")
val rdd = sc.parallelize(nomes)
val maiusculas = rdd.map(_.toUpperCase)
maiusculas.collect()

// Etapa 3 : pressione Ctrl+D para executar
// Exiting paste mode, now interpreting.

// nomes: Seq[String] = List(Alice, Bob, Charlie)
// rdd: org.apache.spark.rdd.RDD[String] = ...
// maiusculas: org.apache.spark.rdd.RDD[String] = ...
// res0: Array[String] = Array(ALICE, BOB, CHARLIE)

val jour = "Mercredi"

val typeJour = jour match {
  case "Lundi" | "Mardi" | "Mercredi" | "Jeudi" | "Vendredi" =>
    "Dia útil"
  case "Samedi" | "Dimanche" =>
    "Fim de semana"
  case _ =>
    "Dia desconhecido"  // _ = a caixa "Outros" da triagem postal
}

println(typeJour)  // "Dia útil"

val note = 15

val mention = note match {
  case 20                 => "Perfeito"
  case 16 | 17 | 18 | 19 => "Muito bom"
  case 14 | 15            => "Bom"
  case 12 | 13            => "Satisfatório"
  case 10 | 11            => "Regular"
  case _                  => "Insuficiente"
}

println(mention)  // "Bom"

// Scala : match é uma expressão, pode ser atribuído diretamente
val categoria = age match {
  case a if a < 18  => "Menor"
  case a if a < 65  => "Adulto"
  case _            => "Idoso"
}

// Também pode ser usado como argumento de função
println(age match {
  case a if a < 18 => "Menor"
  case _           => "Adulto"
})

// Ou em interpolação de string
val message = s"Status : ${age match {
  case a if a < 18 => "Menor"
  case _           => "Adulto"
}}"

// Java : o switch (antes do Java 14) não retorna valor
// Era necessário escrever :
String categoria;
switch (age) {
  case ...: categoria = "Menor"; break;
  default:  categoria = "Adulto";
}
// Java 14+ adicionou switch expressions para preencher essa lacuna

# Python 3.10+ structural pattern matching
jour = "Mercredi"
match jour:
    case "Lundi" | "Mardi" | "Mercredi" | "Jeudi" | "Vendredi":
        type_jour = "Dia útil"
    case "Samedi" | "Dimanche":
        type_jour = "Fim de semana"
    case _:
        type_jour = "Dia desconhecido"

# Diferença : em Python, match é uma instrução (sem atribuição direta)
# Em Scala : val x = valor match { ... }  <-- expressão que retorna um valor
# Em Python : você deve atribuir em cada branch manualmente

# Python < 3.10 : sem match/case, usamos if/elif/else
jour = "Mercredi"

if jour in ("Lundi", "Mardi", "Mercredi", "Jeudi", "Vendredi"):
    type_jour = "Dia útil"
elif jour in ("Samedi", "Dimanche"):
    type_jour = "Fim de semana"
else:
    type_jour = "Dia desconhecido"