스파크 시 json 문자열을 데이터 프레임으로 변환하는 방법
아래 문자열 변수를 스파크 시 데이터 프레임으로 변환하고 싶습니다.
val jsonStr = "{ "metadata": { "key": 84896, "value": 54 }}"
저는 json 파일에서 데이터 프레임을 만드는 방법을 알고 있습니다.
sqlContext.read.json("file.json")
문자열 변수에서 데이터 프레임을 만드는 방법을 모릅니다.
json String 변수를 데이터 프레임으로 변환하려면 어떻게 해야 합니까?
import spark.implicits._
val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
val df = spark.read.json(Seq(jsonStr).toDS)
val events = sc.parallelize("""{"action":"create","timestamp":"2016-01-07T00:01:17Z"}""" :: Nil)
val df = sqlContext.read.json(events)
힌트: 사용 중
sqlContext.read.json(jsonRDD: RDD[Stirng])
과부하또 있다sqlContext.read.json(path: String)
Json 파일을 직접 읽습니다.
val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
val rdd = sc.parallelize(Seq(jsonStr))
val df = sqlContext.read.json(rdd)
Spark 2.2에서는 RDD에서 JSON을 읽는 기능이 폐지되었기 때문에 다음 옵션도 있습니다.
val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
import spark.implicits._ // spark is your SparkSession object
val df = spark.read.json(Seq(jsonStr).toDS)
Java(Spark 2.2+)에서 Json 문자열을 Dataframe으로 변환하는 예를 다음에 나타냅니다.
String str1 = "{\"_id\":\"123\",\"ITEM\":\"Item 1\",\"CUSTOMER\":\"Billy\",\"AMOUNT\":285.2}";
String str2 = "{\"_id\":\"124\",\"ITEM\":\"Item 2\",\"CUSTOMER\":\"Sam\",\"AMOUNT\":245.85}";
List<String> jsonList = new ArrayList<>();
jsonList.add(str1);
jsonList.add(str2);
SparkContext sparkContext = new SparkContext(new SparkConf()
.setAppName("myApp").setMaster("local"));
JavaSparkContext javaSparkContext = new JavaSparkContext(sparkContext);
SQLContext sqlContext = new SQLContext(sparkContext);
JavaRDD<String> javaRdd = javaSparkContext.parallelize(jsonList);
Dataset<Row> data = sqlContext.read().json(javaRdd);
data.show();
결과는 다음과 같습니다.
+------+--------+------+---+
|AMOUNT|CUSTOMER| ITEM|_id|
+------+--------+------+---+
| 285.2| Billy|Item 1|123|
|245.85| Sam|Item 2|124|
+------+--------+------+---+
simple_json = '{"results":[{"a":1,"b":2,"c":"name"},{"a":2,"b":5,"c":"foo"}]}'
rddjson = sc.parallelize([simple_json])
df = sqlContext.read.json(rddjson)
답변에 대한 참조는 https://stackoverflow.com/a/49399359/2187751 입니다.
Spark 2.2에서 json 문자열 목록을 DataFrame으로 변환하려면 =>
val spark = SparkSession
.builder()
.master("local")
.appName("Test")
.getOrCreate()
var strList = List.empty[String]
var jsonString1 = """{"ID" : "111","NAME":"Arkay","LOC":"Pune"}"""
var jsonString2 = """{"ID" : "222","NAME":"DineshS","LOC":"PCMC"}"""
strList = strList :+ jsonString1
strList = strList :+ jsonString2
val rddData = spark.sparkContext.parallelize(strList)
resultDF = spark.read.json(rddData)
resultDF.show()
결과:
+---+----+-------+
| ID| LOC| NAME|
+---+----+-------+
|111|Pune| Arkay|
|222|PCMC|DineshS|
+---+----+-------+
이제 Dataset[String]에서 json을 직접 읽을 수 있습니다.https://spark.apache.org/docs/latest/sql-data-sources-json.html
val otherPeopleDataset = spark.createDataset(
"""{"name":"Yin","address":{"city":"Columbus","state":"Ohio"}}""" :: Nil)
val otherPeople = spark.read.json(otherPeopleDataset)
otherPeople.show()
// +---------------+----+
// | address|name|
// +---------------+----+
// |[Columbus,Ohio]| Yin|
// +---------------+----+
Illigal Patter component : XXX 등의 경우에 오류가 발생할 수 있습니다.그러기 위해서는 spark.read에 타임스탬프를 포함한 .option을 추가해야 합니다.그러면 코드가 갱신됩니다.
val spark = SparkSession
.builder()
.master("local")
.appName("Test")
.getOrCreate()
import spark.implicits._
val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
val df = spark.read.option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ").json(Seq(jsonStr).toDS)
df.show()
언급URL : https://stackoverflow.com/questions/38271611/how-to-convert-json-string-to-dataframe-on-spark
'programing' 카테고리의 다른 글
Woocommerce 3+의 [내 계정 주문(My Account Orders)]테이블에 커스텀 컬럼 추가 (0) | 2023.03.05 |
---|---|
WP/woocommerce에서 사용자가 'shop_manager'인지 알 수 있는 기능이 있나요? (0) | 2023.03.05 |
Sinatra 기본 content_type 설정 (0) | 2023.03.05 |
permalink(예쁜 URL)에서 게시 ID를 얻는 방법 (0) | 2023.03.05 |
Oracle REGEXP_LIKE 및 단어 경계 (0) | 2023.03.05 |