행복한디벨로퍼

자바 Stream에서 Map, Object내부에 또 다른 Map, Set, List와 같은 Collection이 있을 때 각 value를 개별된 값으로 처리하고 싶은 경우

Student POJO

public class Student {

    private String name;
    private Set<String> book;

    public void addBook(String book) {
        if (this.book == null) {
            this.book = new HashSet<>();
        }
        this.book.add(book);
    }
    //getters and setters

}

flatMap() and Set example

1차적으로 map으로 POJO에 Set에 담긴 Book데이터를 가져와 flatmap으로 펼친 후 list로 collect

import java.util.ArrayList;
import java.util.List;
import java.util.stream.Collectors;

public class TestExample2 {

    public static void main(String[] args) {

        LexiconMain.Student obj1 = new LexiconMain.Student();
        obj1.setName("mkyong");
        obj1.addBook("Java 8 in Action");
        obj1.addBook("Spring Boot in Action");
        obj1.addBook("Effective Java (2nd Edition)");

        LexiconMain.Student obj2 = new LexiconMain.Student();
        obj2.setName("zilap");
        obj2.addBook("Learning Python, 5th Edition");
        obj2.addBook("Effective Java (2nd Edition)");

        List<LexiconMain.Student> list = new ArrayList<>();
        list.add(obj1);
        list.add(obj2);

        List<String> collect =
                list.stream()
                        .map(x -> x.getBook())      //Stream<Set<String>>
                        .flatMap(x -> x.stream())   //Stream<String>
                        .distinct()
                        .collect(Collectors.toList());

        collect.forEach(x -> System.out.println(x));
    }

}

Output

Spring Boot in Action
Effective Java (2nd Edition)
Java 8 in Action
Learning Python, 5th Edition

Stream관련 자세한 예제가 더 궁금하다면 아래 링크로

참고 : https://www.mkyong.com/java8/java-8-flatmap-example/

Java8 Stream을 사용하다 보면 자주 발생할 수 있는 미묘한 실수 중에 하나는

이미 사용했던 Stream을 다시 사용하려고 하는 것이다. Stream은 오직 한 번만 사용할 수 있다.

A Stream should be operated on (invoking an intermediate or terminal stream operation) only once. 

A Stream implementation may throw IllegalStateException if it detects that the Stream is being reused.

이미 사용했던 Stream을 또 사용하게 될 경우 다음과 같은 에러 로그를 발견할 수 있을 것이다.

[ 문제가 발생했던 코드 ]

코드를 보면 Stream을 두 번 사용하고 있는 것을 볼 수있다.

로깅기능으로 잠깐 보려고 했던 코드가 문제가 되었다.

정리하자면

Stream shoud be used only Once!!!

[ Spring ] 문제해결 no suitable constructor found, can not deserialize from Object value 

API로 JSON 데이터 받아와 모델에 매핑시키는 부분에서 다음과 같은 에러가 발생하였다.

쉽게 말해 API 응답으로 받아와 JSON 데이터가 내가 매핑하고자 하는 Model에 알맞지 않다는 것이다...

API호출 결과 날아오는 JSON의 형태는 다음과 같았다.

내가 받고자 했던 JAVA MODEL의 형태는 다음과 같았다.

문제는 Result Array 내부에 있는 데이터들을 매핑해 오지 못해생겼던 것 같다.

일단 해결은 내부의 BittrexCoin 클래스에 static을 선언해 해결하였다.

이렇게 inner class를 static으로 변경하고 나니 정상적으로 데이터를 받아 올 수 있었다.

static 지시사의 역할은 메소드나 변수를 메모리에 로딩해서 다른 클래스가 이 클래스의 인스턴스를

생성하지 않고서도 사용할 수 있게 해주는 목적이다. 

RestTemplate으로 요청을 날리면서 동시에 내가 원하는 모델에 매핑해서 데이터를 가져오는데 static을 선언해주지 않았을 경우에

inner class인스턴스를 못만들어내서 매핑이 되지 않는 것 같다. 더 정확한 원인까지는 잘 모르겠다...

나중에 시간되면 더 파고들어볼만한 이슈인 것 같다.

혹시 원인에 대해 아시는분이 계시다면 댓글남겨주시면 감사하겠습니다. 

Java NanoTime To Seconds

보통 특정 메서드를 실행하거나 로직을 수행할 때 시간이 얼마나 걸리는지 측정(성능측정)하기 위해서 nanotime을 자주사용한다.

long start = System.nanoTime();

하지만 나노타임(nanotime)은 우리가 보고 판단하기에는 너무 어렵다...초로 바꿔보자...

자바에서 nanotime을 second(초)로 변환하는 방법은 두 가지이다.

1. TimeUnit.SECONDS.convert(nanotime, TimeUnit.NANOSECONDS) 을 이용하는 방법

이 방법은 진짜 딱 초단위 까지만 나오게 된다. 11.035초의 시간이 걸렸더라도 딱 11초만 표기된다.

2.. ((double) nanotime) / 1000000000; 을 사용하는 방법

이 방법은 11.33599 형태로 double형 단위에 맞는 초단위로 표기된다.

작업 중 java.sql.SQLException: Before start of result set 오류가 발생하였다.

뭔가 하고 보니 소스코드에서 mysql에 질의를 던져 데이터를 가져와서 ResultSet에 담는데 ResultSet에서 데이터를 읽을 경우 cursor의 points를 첫 번째 로우에 맞추어주어야 한다.

즉, 결과값을 읽기전에 next() 메서드를 호출 후 사용 하여야 한다. 

[ 오류가 발생했던 소스코드 ] 

[ 문제 해결 소스코드 ] 

보다시피 result.next() 전에 result.getString()으로 값을 불러오려고 했을 때 문제가 발생했다.

result.next() while문 안으로 넣어서 해결~!

최근 자바 어플리케이션에서 hdfs파일을 local파일로 쓰는 외부 명령을 실행시켜야 하는 작업이 있었다.

Runtime 객체를 생성하고 exec 메소드를 이용하여 외부 명령을 실행시키는 프로세스를 생성하였다.

코드를 보면 알겠지만 command 명령에 파이프라인(|)이 사용되었다.

이렇게 해서 동작을 시키니 100라인만 읽어와야하는데 해당 hdfs파일의 모든 로그를 읽어왔었다...

한참을 헤매다가 파이프라인(|)이 안먹는다는 생각이 들었고 찾아보니 문제가 있었다.

파이프라인(|)을 사용하는 것은 shell 실행 후 또 다른 프로세스로 실행하기 때문에 정상적으로 작동을 안한 것이다.

다음과 같이 해결을 하면 된다.

[ stack overflow 참고 ]

https://stackoverflow.com/questions/5928225/how-to-make-pipes-work-with-runtime-exec

간단히 요약하자면, 자바 어플레케이션에서 exec로 실행하는 system command는 실제로 unix, linux의 shell을 불러와 명령을 실행시키는게 아니라고하네요.

그렇기 때문에 쉘의 기능(shell feature)인 pipeline (파이프라인)을 사용하기 위해서는 명시적으로 shell(/bin/sh)을 불러주고 

해당 쉘 안에서 command를 실행시켜야 한다고 합니다.

더 정확한 원인을 알고 싶다면 참고부탁드려요

https://alvinalexander.com/java/java-exec-system-command-pipeline-pipe