직렬화 역직렬화

Java

직렬화 역직렬화

후후후하하하 2024. 4. 10. 15:12

직렬화, 역직렬화

직렬화는 자바 언어에서 사용되는 Object 또는 Data를 다른 컴퓨터의 자바 시스템에서도 사용할 수 있도록 바이트 스트림 형태로 연속적인(serial) 데이터로 변환하는 포맷 변환 기술.
역직렬화는 바이트로 변환된 데이터를 원래대로 자바 시스템의 Object 또는 Data로 변환하는 기술.
시스템적으로, JVM의 힙 혹은 스택 메모리에 상주하고 있는 객체 데이터를 직렬화를 통해 바이트 형태로 변환하여 데베나 파일과 같은 외부 저장소에 저장해두고, 다른 컴퓨터에서 이 파일을 가져와 역직렬화를 통해 자바 객체로 변환해서 JVM 메모리에 적재하는 것.
바이트 스트림 : 스트림은 클라이언트나 서버 간에 출발지 목적지로 입출력하기 위한 데이터가 흐르는 통로.
자바는 스트림의 기본 단위를 바이트로 두고 있기 때문에 네트워크, 데베로 전송하기 위해 최소 단위인 바이트 스트림으로 변환하여 처리한다.

직렬화 사용처
- 휘발성이 있는 캐싱 데이터를 영구 저장이 필요할 때.
- 예를 들어 JVM 메모리에서만 상주되고 있는 객체 데이터가 시스템이 종료되더라도 나중에 다시 재사용이 될 수 있을 때 영속화(Persistence)를 해두면 좋다. 이러한 특성을 가진 자바 직렬화는 실제 여러 곳에서 응용된다.
  - 서블릿 세션(Servlet Session)
    - 단순히 세션을 서블릿 메모리 위에서 운용한다면 직렬화를 필요로 하지 않지만, 만일 세션 데이터를 저장 & 공유가 필요할 때 직렬화를 이용한다.
    - 세션 데이터를 데베에 저장할 때. -?
    - 톰캣의 세션 클러스터링을 통해 각 서버간에 데이터 공유가 필요할 때
  - 캐시 (Cache)
    - 데베로부터 조회한 객체 데이터를 다른 모듈에서도 필요할 때 재차 DB를 조회하는 것이 아닌, 객체를 직렬화하여 메모리나 외부 파일에 저장해두었다가 역직렬화하여 사용하는 캐시 데이터.
    - 자바 직렬화를 이용해서만 캐시를 저장할 수 있는 것은 아니지만 자바 시스템에서만큼은 구현이 가장 간편하다.
    - 요즘은 Redis, Memcached와 같은 캐시 DB를 많이 사용한다.
  - 자바 RMI (Remote Method Invocation)
    - 원격 시스템간의 메시지 교환을 위해서 사용하는 자바에서 지원하는 기술이다.
    - 이 메세지에 객체 데이터를 직렬화하여 송신하는 것.
    - 최근에는 소켓을 이용해서 잘 안쓰인다.
직렬화 vs JSON
- CSV, JSON이라는 훌륭한 데이터 포맷이 있는데 굳이 직렬화가 필요하냐??
- 실제로 JSON은 웹 뿐만 아니라 게임 쪽에서도 설정 파일로 쓰이거나 데이터를 교환할 때 범용적으로 사용된다. 그리고 직렬화는 오로지 자바 프로그램에서만 사용이 가능하지만, JSON 형태로 객체 데이터를 저장해두면 파이썬, 자바스크립트에서도 범용적으로 사용이 가능하다.
- 그런데 굳이 직렬화를 쓰는 이유?
- 자바 직렬화 장점
  1. 자바 고유 기술인 만큼 자바 시스템에서 개발에 최적화되어 있다.
  2. 자바의 광활한 레퍼런스 타입에 대해 제약 없이 외부에 내보낼 수 있다.
    - 기본형 타입이나 배열 타입들은 왠만한 프로그래밍 언어가 공통으로 사용해서 JSON으로 상호 이용가능
    - 하지만 자바의 온갖 컬렉션이나 클래스, 인터페이스 타입들은?
    - 혹은 사용자가 커스텀으로 자료형 타입을 만들어 사용하고 있는 경우, 단순 파일 포맷만으로는 타입 갯수가 한계가 있다. 그래서 이들을 외부에 내보내기 위해선 각 데이터를 매칭시키는 별도의 파싱(parsing)이 필요하다.
    - 그에 반해, 직렬화를 이용하면 다른 시스템에서는 사용하지 못할지라도, 직렬화 기본 조건만 지킨다면 하드한 작업없이 바로 외부에 보낼 수 있다. 그리고 역직렬화를 통하면 데이터 타입이 자동으로 맞춰지기 때문에 곧바로 기능 이용가능하다. 그래서 직렬화된 문자열들을 데베에 저장해두고 꺼내 쓰기도 한다
  3. 따라서 JSON이나 직렬화냐에 대한 명확한 정답은 없고 '목적에 따라 적절히 써야 한다.'

Serializable 인터페이스

객체를 직렬화하기 위해선 java.io.Serializable 인터페이스를 implements 해야 된다. 그렇지 않으면 NotSerailizableException 런타임 예외가 발생한다.
아무런 내용도 없는 마커 인터페이스로서, 직렬화를 고려하여 작성한 클래스인지를 판단하는 기준으로 사용된다.
- 마커 인터페이스 : 아무 메서드도 선언하지 않은 빈 껍데기 인터페이스.
- 객체의 타입과 관련된 정보만을 제공해준다.
역직렬화 이용시, 직렬화된 외부 파일만 있으면 생성자로 객체 초기화 없이 바로 객체에 정보를 가져와 인스턴스화하여 사용할 수 있게 되는 마법 같은 기능을 얻을 수 있다.

String filename = "경로\\huhu.txt";
try (
        FileInputStream fo = new FileInputStream(filename);
        ObjectInputStream op = new ObjectInputStream(fo)
) {
    Customer deserailized = (Customer) op.readObject();
    System.out.println(deserailized);
} catch (IOException | ClassNotFoundException e) {
    e.printStackTrace();
}

직렬화 개체를 리스트로 관리
- 여러 개의 객체를 직렬화하고, 이를 역직렬화한다면 주의해야할 사항이 있다.
- 역직렬화할 때는 직렬화할 때의 순서와 일치해야 된다는 점. (직렬화할 때 파일에 직렬화 순서대로 바이트 문자가 기재되어 지니 당연한 말이다.)
- ArrayList와 같은 컬렉션에 저장해서 관리하는 것이 좋다. ArrayList 하나만 역직렬화하면되므로 객체의 순서를 고려할 필요가 없어진다. 이는 위의 직렬화와 JSON 비교 파트에서 직렬화의 장점에 대해 소개할 때 자바 고유 클래스, 인터페이스를 그대로 직렬화/역직렬화 할 수 있다고 말한 것이다.
직렬화 요소 제외
- 객체의 모든 인스턴스를 직렬화하기에는 너무 무겁거나 혹은 중요한 정보는 외부에 노출시키고 싶지 않은 경우, 직렬화할 요소를 직접 선택할 필요가 있다.
- transient 키워드
- 간단하게 변수 정의문 옆에 transient 키워드를 명시해주면 알아서 직렬화 대상에서 제외되도록 할 수 있다.
- transient가 붙은 인스턴스 변수의 값은 그 타입의 기본값으로 직렬화 된다.
- 단, 직렬화 대상에서 제외하는데 있어 그 데이터가 객체에 실제로 필요가 없는지, 제외하였을 경우에 서비스 장애에 이상이 없는지에 대한 고려를 해야한다.
커스텀 직렬화
- readObject / writeObject 재정의
- 기본적으로 readObject / writeObject 는 모든 요소에 대해 자동 직렬화한다.
- 그런데 이 메서드들을 직렬화할 클래스에 별도로 재정의해주면 직렬화를 선택적으로 조작할 수 있게 된다.
객체 상속 관계에서의 직렬화
- 부모 - 자식 상속 관계에서 부모 클래스가 Serializable을 구현했다면 자식은 구현안해도 됨.
- 반대로 부모는 구현하지 않고 자식만 구현했다면 직렬화할 때 부모 클래스의 인스턴스 필드는 무시되고 자식 필드만 직렬화 된다. 따라서 상위 클래스의 필드까지 직렬화하려면 부모 클래스가 Serializable을 구현하도록 설정하든지, 위에서 다룬 writeObject / readObject 메서드를 재정의하여 직접 직렬화 코드를 추가하면 된다.
- 부모 클래스의 필드까지 직렬화하고 싶으면 부모 클래스에 직렬화 메서드를 재정의 해주고 추가로 직렬화할 부분 기재하면 된다.

자바 직렬화 버전 관리

SerialVersionUID
- Serializable 인터페이스를 구현하는 모든 직렬화된 클래스는 SUID라는 고유 식별 번호를 부여받는다.
- 이 식별ID는 클래스를 직렬화, 역직렬화하는 과정에서 동일한 특성을 갖는지 확인하는데 사용된다. 그래서 클래스 내부 구성이 수정될 경우, 기존에 직렬화한 SUID와 현재 클래스의 SUID 버전이 다르기 때문에 이를 인지하고 InvalidClassException 예외를 발생시켜 값 불일치 되는 현상을 미연에 방지한다.
- 단, 직렬화 스펙 상 SUID 값 명시는 필수가 아니며, 만일 클래스에 SUID 필드를 명시하지 않는다면, 시스템이 런타임에 클래스의 이름, 생성자 등과 같이 클래스의 구조를 이용해 암호 해시함수를 적용해 자동으로 클래스 안에 생성하게 된다.
클래스 버전 수동 관리
- 만일 네트워크로 객체를 직렬화하여 전송하거나 협업을 하는 경우 수신자와 송진자 모두 같은 버전의 클래스를 가지고 있어야 할 텐데, 만일 클래스의 조금의 변경만 있어도 모든 사용자에게 재배포해야 하는 에로사항이 생겨 프로그램 관리가 어렵게 만든다.
- 따라서 직렬화 클래스는 왠만한 상황에선 SUID를 직접 명시해주어 클래스 버전을 수동으로 관리하는 것을 권장한다. 이를 통해 클래스 내용이 변경되어도, 클래스의 버전이 시스템이 자동 생성된 값으로 변경되지 않기 때문이다. 이외에도 런타임에 SUID를 생성하는 시간도 많이 잡아먹기 때문에 미리 명시를 강력히 권장한다.
- 상수로 선언해야 하며 long 타입으로 한다.
SUID 자동 생성하기
- 단순한 값이면 서로 겹칠 우려가 있기 때문에 서로 다른 클래스 간에 같은 값을 갖지 않도록 값 생성 프로그램을 사용하는 것이 좋다.
SUID 명시는 절대 만능이 아니다. 필드 변수 하나 정도 추가하는 건 문제가 없지만, 필드 타입을 변경하는 상황에서는 예외를 막을 수 없다.
직렬화 사용할 때 예외가 발생하거나 주의해야 하는 상황 정리
1. 멤버 변수를 추가(영향 없음 - 자료형 기본값으로 설정)
2. 멤버 변수 삭제(영향 없음)
3. 멤버 변수의 이름이 바뀔 때(영향 없음 - 값이 할당되지 않음)
4. 멤버 변수의 접근 제어자 변경(영향 없음)
5. 멤버 변수의 타입이 바뀔 때(영향 있음)
6. 멤버 변수에 static, transient 추가 (영향 없음)
사실 필드 타입 변경만 조심하면 될 것 같지만, 자주 변경될 소지가 있는 클래스의 객체는 그냥 직렬화를 사용하지 않는 것이 좋다. 추후 버전에서 이전 버전에 영향없이 소스 코드를 수정하는 것은 매우 어렵기 때문.

자바 직렬화 예외

InvalidClassException
1. 클래스의 SerialVersionUID 버전이 다른 경우
2. 클래스에 다른 데이터 타입을 포함한 경우
3. 기본 생성자가 없는 경우
  - 상속 관계에서 직렬화는 자식 클래스부터 직렬화하고 부모 클래스로 이동해서 직렬화함.
  - 역 직렬화는 부모 클래스부터 시작해 상속 구조를 따라 내려감.
  - 그런데 부모 클래스가 non-serializable이면 역직렬화하는 과정에서 직렬화되지 않는 부모의 속성 정보들을 기본 생성자를 통해 가져오게 된다. 그런데 기본생성자가 없다면 불러올 유효한 생성자가 없어서 오류난다.
  - 따라서 상속 관계에서 직렬화를 할 때는 non-serializable 클레스에 대해 반드시 기본 생성자를 일부로 정의해야한다.
NotSerializableException
- 클래스는 Serializable을 구현하고 있지만 다른 클래스의 객체를 멤버 변수로 가지고 있을 경우, 그리고 그 참조하고 있는 클래스가 Serializable을 구현하지 않았을 경우.
- Serializable 인터페이스를 구현하도록 설정하거나 transient 키워드를 통해 직렬화 제외 설정을 해주어야 한다.
- 추가로 String이 직렬화 가능한 이유는 String 클래스가 Serializable 인터페이스를 구현하고 있기 때문이다.

자바 직렬화 문제점

직렬화의 대안을 찾으라
1. 직렬화는 용량이 크다
  - 객체에 저장된 데이터 값 뿐만 아니라 타입 정보, 클래스 메타 정보를 가지고 있으므로 용량을 많이 차지한다. 그래서 같은 정보를 직렬화로 저장하느냐 JSON으로 저장하느냐는 파일 용량 크기가 2배 이상 차이난다.
  - 따라서 DB, Cache 등 외부에 저장할때, 장기간 동안 저장하는 정보는 직렬화를 지양해야 한다.
2. 역직렬화는 위험하다.
  1. 역직렬화 과정에서 나도 모르게 공격당할 위험성이 있다.
  2. 역직렬화 과정에서 호출되어 잠재적으로 위험한 동작을 수행하는 메서드를 가젯(gadget)이라 부르는데, readObject() 메서드를 호출하게 되면 객체 그래프가 역직렬화되어 classpath 안의 모든 타입의 객체를 만들어 내게 되느데, 해당 타입 객체 안의 모든 코드를 수행할 수 있게 되므로 나의 프로그램 코드 전체가 공격 범위에 들어가게 된다.
  3. 또는 객체를 직렬화하여 외부로 전송하는 과정에서 중간에 누가 가로채 파일 바이트 내용을 조작하여, 송신자가 역직렬화하는 과정에서 인스턴스에 위험한 값을 대입시켜 불변을 깨는 식으로의 공격도 가능하다. 왜냐하면 역직렬화는 생성자 없이 인스턴스화가 가능하기 때문에 보이지 않는 생성자라고도 불리운다.
  4. 따라서 신뢰할 수 없는 데이터는 절대 역직렬화 하면 안되며, 가장 좋은 방법은 아무것도 역직렬화하지 않는 것이다.
  5. 직렬화를 피할 수 없다면 역직렬화 필터링과 같은 역직렬화 방어 기법들을 사용하면 된다. 데이터 스트림이 역직렬화 되기 전에 필터 조건문을 수행하여 특정 클래스만 허용하거나 제외하도록 할 수 있다.
3. 직렬화를 구현할지는 신중히 결정하라
  1. 릴리즈 후에 수정이 어렵다
    1. 클래스가 Serializable을 구현하게 되면 직렬화된 바이트 스트림 인코딩도 하나의 공개 API가 되는 것이다. 그래서 직렬화를 구현한 클래스가 널리 퍼지면 그 직렬화 형태도 영원히 지원해야 한다. 클래스 내부 구현을 수정할 수 없고 구현한 순간부터 해당 객체의 유지보수는 직렬화에 묶인다.
  2. 클래스 캡슐화가 깨진다.
    1. 직렬화할 클래스에 private 멤버가 있어도 직렬화를 하게 되면 그대로 외부에 노출된다.(제외하려면 별도로 transient 설정 필요)
    2. 따라서 Serializable을 구현하면 직렬화 형태가 하나의 공개 API가 되어 캡슐화가 깨지게 된다.
  3. 버그와 보안에 취약하다.
    1. 자바에서는 객체를 생성자를 이용해 만드는 것이 기본이다. 하지만 역직렬화는 언어의 기본 메커니즘을 우회하여 객체를 바로 생성한다. 즉, 역직렬화는 숨은 생성자이기도 한 것이다.
    2. 만일 어느 객체가 생성자를 통해 인스턴스화 할 때 불변식이나 허가되지 않은 접근을 설정하였을 경우 이를 무시하고 생성된다는 것이다.
  4. 새로운 버전을 릴리즈할 때 테스트 요소가 많아진다.
    1. 테스트 양이 직렬화 가능 클래스의 수와 릴리즈 횟수에 비례하게 된다.
  5. 구현 여부는 쉽게 결정할 것이 아니다.
    1. BigInteger와 Instant 같은 '값' 클래스와 컬렉션 클래스는 Serializable을 구현하였고 스레드 풀처럼 '동작'하는 객체를 표현한 클래스는 대부분 구현하지 않았다.
  6. 상속용 클래스와 인터페이스에 직렬화 구현에 주의해야 한다.
    - 상속 목적으로 설계된 클래스와 인터페이스에 Serializable을 구현한다는 것은, 위에서 언급한 직렬화의 위험성을 고스란히 하위 클래스에게 전이하게 되는 것이다.
    - 인스턴스 필드 값 중 불변식 보장해야할 게 있다면 반드시 하위 클래스에서 Object 클래스의 finalize 메서드를 재정의하지 못하게 해야한다. finalize를 재정의하면서 final 키워드를 붙여 선언하면 안된다.
  7. 내부 클래스는 직렬화를 구현하면 안된다.
    - 내부 클래스의 직렬화 형태는 불분명하다.
    - 정적 내부 클래스는 상관없다.

1. 자바 직렬화란 무엇이며, 왜 사용하는가?
2. 자바에서 객체를 직렬화하기 위해 필요한 조건은 무엇인가?
3. `transient` 키워드의 용도는 무엇이며, 직렬화 과정에서 어떤 역할을 하는가?
4. 자바의 직렬화 과정에서 `Serializable` 인터페이스와 `Externalizable` 인터페이스의 차이점은 무엇인가?
5. 직렬화된 데이터의 버전 관리를 어떻게 할 수 있는가? `serialVersionUID`의 역할은 무엇인가?
6. 자바 직렬화의 보안 취약점에 대해 설명하고, 이를 어떻게 완화할 수 있는지 논의하라.
7. 직렬화 프록시 패턴(Serialization Proxy Pattern)이란 무엇이며, 왜 사용하는가?
8. `ObjectOutputStream`과 `ObjectInputStream` 클래스의 주요 메소드들은 무엇이며, 각각 어떤 역할을 하는가?
9. 자바에서 직렬화 대안으로 고려될 수 있는 기술들은 무엇이 있으며, 이들의 장단점은 무엇인가?
10. 커스텀 직렬화를 구현할 때 고려해야 할 사항은 무엇인가? `writeObject`와 `readObject` 메소드의 사용 예를 들어 설명하라.
11. 자바에서 역직렬화 시 `ClassNotFoundException`이 발생하는 이유와 해결 방법은 무엇인가?