org.apache.spark.sql.api.java

Class JavaSQLContext

Object

org.apache.spark.sql.api.java.JavaSQLContext

Direct Known Subclasses:

JavaHiveContext

public class JavaSQLContext
extends Object

The entry point for executing Spark SQL queries from a Java program.

Constructor Summary

Constructors

Constructor and Description
JavaSQLContext(JavaSparkContext sparkContext)
JavaSQLContext(SQLContext sqlContext)

Method Summary

Methods

Modifier and Type	Method and Description
JavaSchemaRDD	applySchema(JavaRDD<?> rdd, Class<?> beanClass) Applies a schema to an RDD of Java Beans.
JavaSchemaRDD	applySchema(JavaRDD<Row> rowRDD, StructType schema) :: DeveloperApi :: Creates a JavaSchemaRDD from an RDD containing Rows by applying a schema to this RDD.
JavaSchemaRDD	createParquetFile(Class<?> beanClass, String path, boolean allowExisting, org.apache.hadoop.conf.Configuration conf) :: Experimental :: Creates an empty parquet file with the schema of class beanClass, which can be registered as a table.
JavaSchemaRDD	jsonFile(String path) Loads a JSON file (one object per line), returning the result as a JavaSchemaRDD.
JavaSchemaRDD	jsonFile(String path, StructType schema) :: Experimental :: Loads a JSON file (one object per line) and applies the given schema, returning the result as a JavaSchemaRDD.
JavaSchemaRDD	jsonRDD(JavaRDD<String> json) Loads an RDD[String] storing JSON objects (one object per record), returning the result as a JavaSchemaRDD.
JavaSchemaRDD	jsonRDD(JavaRDD<String> json, StructType schema) :: Experimental :: Loads an RDD[String] storing JSON objects (one object per record) and applies the given schema, returning the result as a JavaSchemaRDD.
JavaSchemaRDD	parquetFile(String path) Loads a parquet file, returning the result as a JavaSchemaRDD.
void	registerFunction(String name, UDF1<?,?> f, DataType dataType)
void	registerFunction(String name, UDF10<?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF11<?,?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF12<?,?,?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF13<?,?,?,?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF14<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF15<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF16<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF17<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF18<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF19<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF2<?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF20<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF21<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF22<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF3<?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF4<?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF5<?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF6<?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF7<?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF8<?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerFunction(String name, UDF9<?,?,?,?,?,?,?,?,?,?> f, DataType dataType)
void	registerRDDAsTable(JavaSchemaRDD rdd, String tableName) Registers the given RDD as a temporary table in the catalog.
JavaSchemaRDD	sql(String sqlText) Executes a SQL query using Spark, returning the result as a SchemaRDD.
SQLContext	sqlContext()

Methods inherited from class Object

equals, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

Constructor Detail

JavaSQLContext

public JavaSQLContext(SQLContext sqlContext)

JavaSQLContext

public JavaSQLContext(JavaSparkContext sparkContext)

Method Detail

sqlContext

public SQLContext sqlContext()

sql

public JavaSchemaRDD sql(String sqlText)

Executes a SQL query using Spark, returning the result as a SchemaRDD. The dialect that is used for SQL parsing can be configured with 'spark.sql.dialect'.

createParquetFile

public JavaSchemaRDD createParquetFile(Class<?> beanClass,
                              String path,
                              boolean allowExisting,
                              org.apache.hadoop.conf.Configuration conf)

:: Experimental :: Creates an empty parquet file with the schema of class beanClass, which can be registered as a table. This registered table can be used as the target of future insertInto operations.

   JavaSQLContext sqlCtx = new JavaSQLContext(...)

   sqlCtx.createParquetFile(Person.class, "path/to/file.parquet").registerTempTable("people")
   sqlCtx.sql("INSERT INTO people SELECT 'michael', 29")
 

Parameters:

beanClass - A java bean class object that will be used to determine the schema of the parquet file.

path - The path where the directory containing parquet metadata should be created. Data inserted into this table will also be stored at this location.

allowExisting - When false, an exception will be thrown if this directory already exists.

conf - A Hadoop configuration object that can be used to specific options to the parquet output format.

applySchema

public JavaSchemaRDD applySchema(JavaRDD<?> rdd,
                        Class<?> beanClass)

Applies a schema to an RDD of Java Beans.

applySchema

public JavaSchemaRDD applySchema(JavaRDD<Row> rowRDD,
                        StructType schema)

:: DeveloperApi :: Creates a JavaSchemaRDD from an RDD containing Rows by applying a schema to this RDD. It is important to make sure that the structure of every Row of the provided RDD matches the provided schema. Otherwise, there will be runtime exception.

parquetFile

public JavaSchemaRDD parquetFile(String path)

Loads a parquet file, returning the result as a JavaSchemaRDD.

jsonFile

public JavaSchemaRDD jsonFile(String path)

Loads a JSON file (one object per line), returning the result as a JavaSchemaRDD. It goes through the entire dataset once to determine the schema.

jsonFile

public JavaSchemaRDD jsonFile(String path,
                     StructType schema)

:: Experimental :: Loads a JSON file (one object per line) and applies the given schema, returning the result as a JavaSchemaRDD.

jsonRDD

public JavaSchemaRDD jsonRDD(JavaRDD<String> json)

Loads an RDD[String] storing JSON objects (one object per record), returning the result as a JavaSchemaRDD. It goes through the entire dataset once to determine the schema.

jsonRDD

public JavaSchemaRDD jsonRDD(JavaRDD<String> json,
                    StructType schema)

:: Experimental :: Loads an RDD[String] storing JSON objects (one object per record) and applies the given schema, returning the result as a JavaSchemaRDD.

registerRDDAsTable

public void registerRDDAsTable(JavaSchemaRDD rdd,
                      String tableName)

Registers the given RDD as a temporary table in the catalog. Temporary tables exist only during the lifetime of this instance of SQLContext.

registerFunction

public void registerFunction(String name,
                    UDF1<?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF2<?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF3<?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF4<?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF5<?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF6<?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF7<?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF8<?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF9<?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF10<?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF11<?,?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF12<?,?,?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF13<?,?,?,?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF14<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF15<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF16<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF17<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF18<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF19<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF20<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF21<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)

registerFunction

public void registerFunction(String name,
                    UDF22<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?> f,
                    DataType dataType)