Scala9 [scala] http get으로 데이터 호출하여 문자열 작성 scala에서 http get으로 데이터를 호출하여 문자열을 작성하는 간단한 예제 입니다. 2021. 6. 17. [spark] Exception in thread "main" java.sql.SQLException: No suitable driver 오류 해결 방법 스파크 SQL에서는 JDBC 드라이버를 이용해서 데이터베이스에 접근할 때 다음과 같은 오류가 발생하는 경우가 있습니다. 에러 로그 19/11/12 03:07:36 INFO StateStoreCoordinatorRef: Registered StateStoreCoordinator endpoint Exception in thread "main" java.sql.SQLException: No suitable driver at java.sql.DriverManager.getDriver(DriverManager.java:315) at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$6.apply(JDBCOptions.scala:105) at.. 2019. 11. 13. [spark] AWS-EMR에서 스파크와 카프카 연동에서 발생한 Caused by: java.lang.ClassNotFoundException: kafka.DefaultSource 오류 해결 방법 AWS EMR에서 스파크와 카프카를 연동할 때 EMR은 카프카 라이브러리를 기본적으로 제공하지 않기 때문에 다음과 같은 오류가 발생합니다. scala> val df = spark.readStream.format("kafka").option("kafka.bootstrap.servers","localhost:9092").option("subscribe","test").load() java.lang.ClassNotFoundException: Failed to find data source: kafka. Please find packages at https://cwiki.apache.org/confluence/display/SPARK/Third+Party+Projects at org.apache.spark.sq.. 2019. 10. 14. [spark] <console>:23: error: overloaded method value option with alternatives: 오류 스파크를 스파크 쉘(spark-shell)을 이용하여 처리할 때 카프카와 연동할 때 다음의 오류가 발생하는 경우가 있습니다. scala> val df = spark.readStream.format("kafka").option("kafka.bootstrap.servers=localhost:9092").option("subscribe=test").load() :23: error: overloaded method value option with alternatives: (key: String,value: Double)org.apache.spark.sql.streaming.DataStreamReader (key: String,value: Long)org.apache.spark.sql.streaming.DataS.. 2019. 10. 14. [spark] 스파크 2.0.2 버전 SQL에서 발생하는 MalformedURLException: unknown protocol: hdfs 오류 처리 현재 사용하고 있는 스파크 2.0.2버전에서 SQL을 이용하여 하이브의 ADD JAR 명령을 실행하면 다음과 같은 오류가 발생합니다. scala> sql("""ADD JAR 'hdfs:///user/a.jar'""")scala> sql("""ADD FILE 'hdfs:///user/b.txt'""") 19/03/22 06:40:35 INFO SparkSqlParser: Parsing command: ADD JAR 'hdfs:///user/a.jar' java.net.MalformedURLException: unknown protocol: hdfs at java.net.URL.(URL.java:600) at java.net.URL.(URL.java:490) at java.net.URL.(URL.java:4.. 2019. 3. 22. [함수형 사고] 1장 왜? 한빛미디어, 오라일리에서 발간한 함수형사고(Functional Thinking)의 내용 중 필요한 부분만 정리하였습니다. 함수형으로 사고해야 하는 이유는 무엇인가?현재 모든 언어에서 기본적으로 사용하는 객체지향 개념이 처음부터 사용된 것은 아니다. 1967년 시뮬라 67에서 나온 개념이지만 1983년 C++이 보편화 되면서 널리 사용되었다. 언어의 트렌드가 변화하고 있다. 각 언어들이 함수형 프로그래밍을 지원하고 있다. 자바, C#, 자바스크립트에 람다 함수가 사용되고 있고, 클로져, 스칼라 등 함수형 언어가 등장하고 있다. 하드웨어의 발달로 저수준의 제어 보다는 고수준의 제어에 좀더 집중하는 것이 가능해 졌다. 간결함 함수형 언어는 기존 언어의 명령형 프로그래밍 보다 간결하게 함수형 프로그래밍을 할 수.. 2019. 3. 4. [scala] 빌드시 object java.lang.Object in compiler mirror not found. 오류 해결방법 scala 2.11 버전에서 java 9으로 빌드시 다음의 오류가 발생하였다. [INFO] Compiling 3 source files to C:\ScalaSample\target\classes at 1528696267166[ERROR] error: scala.reflect.internal.MissingRequirementError: object java.lang.Object in compiler mirror not found.[ERROR] at scala.reflect.internal.MissingRequirementError$.signal(MissingRequirementError.scala:17)[ERROR] at scala.reflect.internal.MissingRequirementError$.. 2018. 6. 11. [scala] 이클립스를 이용하여 스파크의 스칼라 개발환경 설정하기 스칼라(scala) 개발을 연습하기 위해서 이클립스에 스칼라 개발 환경을 설정하고, 빌드하여 jar 파일을 만드는 것까지 설정하는 방법을 정리해 보겠다. 우선 이클립스를 설치한다. 저는 가장 최신버전인 4.7 Oxygen 버전을 설치하였다. 그리고 Help -> Eclipse Market Place 에서 scala를 검색하여 Scala IDE 4.7.x 를 설치한다. 이 플러그인을 설치하면 스칼라 라이브러리도 설치된다. 설치후 File -> New -> Scala Project 를 선택하여 스칼라 프로젝트를 생성한다. 그리고 Scala Library container에서 오른쪽 버튼을 클릭하여 properties 로 들어가서 스칼라 라이브러리를 2.11로 변경한다. 현재 스파크의 스칼라 버전이 2.11이.. 2018. 6. 11. [eclipse][scala] 이클립스에서 scala 빌드하기 이클립스에서 메이븐을 이용하여 spark 에서 사용할 수 있는 scala 프로젝트를 빌드하는 방법은 다음과 같다. - 메이븐 pom.xml 설정의 디펜던시 추가 org.scala-lang scala-library ${ver.scala} org.apache.spark spark-core_${ver.scala.main} ${ver.spark} org.apache.spark spark-sql_${ver.scala.main} ${ver.spark} org.apache.spark spark-hive_${ver.scala.main} ${ver.spark} - 메이븐 pom.xml 의 빌드 설정 추가 net.alchim31.maven scala-maven-plugin 3.2.1 process-resources com.. 2018. 6. 7. 이전 1 다음
