현재 인공지능을 개발하고 있는 모든 기업과 연구소 등의 목표는 인공지능이 인간이 쉽게 할 수 없는 일(엄청나게 많은 정보와 변수를 가진 연산을 빠른 시간 안에 수행하는 것 등)은 잘해내지만, 인간이 쉽게 할 수 있는 일(사물을 구별하고 추론하는 등)은 잘못하는 것을 극복하는 것입니다. 다시 말해 인간을 만물의 영장(최악으로 발전하는 경향이 있어서 문제지만)으로 승격시켜준 인간의 사고 능력을 구현하는 것입니다.





이것이 가능하려면 사고를 담당하는 뇌를 정확하게 이해하고 구현할 수 있어야 하는데, 2014년 이후에는 빅데이터만 주어지면 스스로 학습(프로그래밍을 직접하고, 알고리즘을 학습해서 복사하거나 개선할 수 있다. 예를 들어 인풋(정보)과 아웃풋(결과)을 동시에 연산해서 해당 프로그램을 거꾸로 추론해낸다. 이런 방식으로 인공지능이 진화하면 인간의 도움없이 다른 인공지능의 알고리즘을 짤 수 있다)할 수 있는 인공지능이 수없이 나왔고, 개발되고 있습니다. 



인터넷과 웹에 저장되고 계속해서 업데이트되는 무한대의 정보를 활용할 수 있는 구글과 페이스북의 인공지능은 철학과 스토리텔링 능력, 엉뚱한 발상 같은 것을 빼면, 뇌의 역할 중 일부는 인간의 수준에 이르렀거나 넘어섰습니다. 실시간 사고는 인공지능이 넘어야 할 과제로 남아있지만, 이 또한 3차원 반도체와 양자컴퓨터 등이 개발되면 극복할 수 있습니다(인간 뇌의 완전한 구현이 가능해진다). 



아무튼 '머신 러닝'의 한계를 뛰어넘은 '딥러닝'이 나오면서 인공지능은 비약적으로 발전했고, 지금도 놀라운 속도로 발전하고 있습니다. 기술적이 아니더라도 머신 러닝과 딥러닝을 이해하려면 먼저 뇌에 대한 기본적인 이해가 있어야 합니다. 인간의 뇌는 수백조 개의 개재뉴런으로 만들어진 수백만 개의 신경망이 병렬로 연산하고(10~15층으로 이루어졌는데 위로 올라갈수록 고차원의 연산이 가능하며, 잘못된 것들은 배제한다), 주로 방추세포에 모여있는 8만 개의 세포가 이루어내는 논리구조를 가동해 다양하고 고차원적인 사고를 할 수 있습니다. 오감을 통해 끊임없이 들어오는 수백조가 넘는 정보들을 처리하고 잘못된 것을 제거하려면 이런 방식의 조직(병렬식 계층구조)이 아니면 처리할 방법이 없습니다. 



'머신 러닝'은 뇌 전역에 퍼져있는 병렬구조를 재현하는데 집중(연산 속도는 빨라진다)했는데, 뇌역분석을 통해 뇌 전체의 작용을 구현하지 않는 한 고도의 사고까지 이를 수 없습니다. 뇌로 들어가는 모든 모세혈관에 나노봇을 투입(혈뇌장벽이란 장애물을 돌파할 수 있어야 한다)해 뇌에서 일어나는 모든 전기화학적 과정을 일일이 스캔하고 추적해서 최적의 모델(알고리즘)을 구축하면 모를까, 현재의 수준에서는 인간의 사고 능력을 구현하는 것이 불가능합니다. 



이런 한계를 뛰어넘은 것이 DQN 방법을 쓴 '딥러닝'입니다. 이세돌을 격파한 알파고도 딥러닝(48층)을 사용했는데(이와 함께 승부 결과를 기반으로 현재 수의 가치를 평가하는'깊은 보상 학습' 알고리즘도 사용했다), 최근의 MS의 인공지능 중에는 152층 짜리도 있다고 합니다. 구글과 페이스북의 경우, 유튜브에 올라오는 모든 영상을 가지고 학습하고 있기 때문에 움직이는 이미지에 대한 인식도 점점 높아지고 있습니다(사물과 동물, 안면 인식 등은 인공지능이 인간을 추월했다). 인공지능이 체스 챔피온을 꺾은 후에도 바둑은 힘들다고 했는데, 딥러닝이 나온지 몇 년만에 바둑도 정복할 수 있었던 것도 딥러닝 덕분입니다.  





딥러닝에서는 모든 수를 계산하지 않습니다. 인간(이세돌)처럼 패턴을 인식해 다음 수를 찾습니다. 바둑 해설자들이 다음 수를 예상하며 일감은 '이렇다' 이감은 '저렇다' 등으로 말하는 것처럼, 알파고도 직감(직관)을 이용한다(깊은 수읽기는 그 다음에 하는 것이지만 기본적으로 직관에서 크게 벗어나지 않는다). 알파고도 이세돌처럼 쓸모없은 수들(천만~억 단위 이상의 수들이 생략된다)은 배제한 채 고차원의 수들만 계산하기 때문에 빠른 대응이 가능한 것입니다(알파고가 패한 4국에서는 이세돌이 수순을 비틀었고, 알파고는 그 다음 수를 계산하는데 시간이 부족했거나 아니면 아예 기초자료가 입력돼 있지 않았을 수도 있다. 인공지능이 인간보다 떨어지는 부분으로 특이점을 넘으면 이런 일은 일어나지 않는다). 



블록깨기를 지켜본 후 게임의 패턴을 인식해 완벽하게 정복하고 이세돌을 격파한 알파고가 다음 상대로 스타크래프트를 정한 것은 이미지 학습을 위한 최선의 수순입니다. 만일 알파고가 스타크래프트에서도 최고의 고수를 꺾게 되면 구굴이 개발 중인 인공지능의 수준이 인간 지능(패턴의 형태)을 거의 다 학습했다고 봐야 할 것입니다. 스타크래프트는 인공지능형 게임이라 이것마저 스스로 학습할 수 있다면 패턴 인식에서 거의 막바지에 이를 것이기 때문입니다.

   


이것에 다양한 감정과 도덕, 창의적 발상, 사유, 스토리텔링 등을 담당하는 방추세포에 대한 뇌역분석적 모델링이 이루어진다면 인공지능은 인간 지능을 거의 모든 면에서 넘어서게 됩니다. 대부분의 전문가들은 레이 커즈와일이나 마이클 아니시모프, 한스 모라벡 등처럼 10년 이내에 이루어진다고 하지만, 저는 그것보다 10년 정도는 더 걸릴 것으로 봅니다(많은 전문가들이 예언한 것들이 5~10년 정도 늦어졌고, 그것들을 적용하고 있는 현장의 속도가 그러하기 때문에). 



아무튼 특이점을 돌파하는 시점이 올 것이며, 다른 분야에서도 특이점을 넘는 것들이 속출해 인공지능 발전에 기여할 것입니다. 특이점을 넘은 인공지능이 인간과의 공존을 선택한다는 가정 하에서 볼 때, 무엇보다도 입법과 사법, 행정, 언론, 군사, 의료, 교육 등에 적용하는 것이 가장 시급합니다. 이럴 경우 합리적이고 이성적이며 가장 효율적인 방법을 찾는 인공지능이 일체의 불법과 사기, 거짓, 불평등, 차별 등을 인정하지 않을 것이기 때문입니다(기본소득이 도입될 것은 거의 100%다. 이에 대해서는 별도의 글로 다룰 생각). 





썪을대로 썩은 정치인(대통령과 장관 포함)과 공무원(외교관 포함), 법률가(검사 포함), 언론인, 군인, 의사, 교사 등이 퇴출되고 불편부당한 인공지능이 그 자리를 대신하면 각종 불평등과 차별, 불법, 부정부패, 비리 등이 사라질 것입니다. 특이점을 넘은 기술들이 인류가 저지른 모든 폐해(지구온난화가 대표적)를 극복하는 것과 함께, 영적 존재에 가장 근접한 인공지능은 탐욕스럽고 비합리적인 인간들의 일탈을 용납하지 않을 것이며, 공존을 위해 무차별적인 개발도, 부와 권력의 독점도 용납하지 않을 것입니다. 



부와 권력의 재분배를 통해 모든 인류에게 일정 액수의 금액이 주어질 것이며, 인간다운 삶을 보장할 것이며, 자연과 우주와의 공존을 위한 방식을 채택할 것이기 때문에 꿈에 그리던 유토피아로 접어들 것입니다. 다만 인간은 인공지능보다 못한 존재로 살아가야 합니다. 그들의 결정을 따르고 그에 맞춰 삶을 조직해야 합니다. 그것이 가상현실에서의 삶이던 인간의 존재형태도 근본적으로 달라질 것이며, 일할 권리보다 놀권리가 더욱 중요해질 것입니다. 



특이점을 넘은 인공지능은 신체를 필요로 하지 않거나, 어떤 신체와 행성, 우주도 상관없기 때문에ㅡ인간도 생물학적 신체와 비생물학적 신체 모두를 사용할 수 있을 것ㅡ인간처럼 타락할 가능성은 제로라고 할 수 있습니다. 물론 인공지능의 학습이 이런 지랄맞은 인간의 탐욕까지 이루어져 인공지능끼리 우열을 다툰다면 모를까, 확률적으로 거의 제로에 가까운 것을 고려할 때 (낙관적인 전망은) 유토피아의 실현일 가능성이 거의 100%입니다. 



문제는 특이점을 넘은 나노공학과 생명공학, 양자역학, 생화학 등이 적용된 로봇이 탄생해 초인공지능이 탑재된다면 부정적인 전망을 피할 수 없습니다. 비합리적이고 탐욕스런 인간은 존재 자체가 위험요소이기 때문입니다. 아직 로봇공학에 관한 공부가 부족해 부정적인 전망은 다음 주에나 글로 올릴 수 있겠지만, 인류의 역사를 보면 인공지능에게 가장 위협적인 존재는 (탐욕을 주체하지 못하고 얼마 살지 못하는 신체를 지닌) 인간이란 점은 확실합니다.





이명박과 박근혜를 대통령으로 뽑았고, 여전히 새누리당을 지지하고, 박정희 신화에 갇혀있고, 국민의당의 호남 독식을 반문정서나 호남세속화의 결과(한심함의 극치)라고 주장하고, 쓰레기 언론들과 기자들이 건재하고, 살아있는 권력은 건들지도 못하는 정치검찰이 득세하고, 꼴통이거나 꼰대이거나 가부장적인 판사들이 넘쳐나고, 거의 모든 부와 권력, 기회가 세습되고, 툭하면 국민이 죽어나가고, 극단적 이기주의가 극성을 부리고, 가부장적 인식과 남녀차별이 여전하고, 사회적 약자와 성적 소수자에 대한 겁박이 범죄 수준에 이르고, 보복운전이 일상화됐고, 난개발이 여전하며, 그에 따라 초미세먼지가 범람해도 고등어나 탓하는 대한민국을 초인공지능이 바라보면 최악의 국가(헬조선)가 따로 없을 것입니다. 



합리적이고 이성적이며 탐욕에 빠지지 않는 초인공지능은 대한민국을 뿌리부터 모조리 뒤엎을 것이며, 탐욕과 반칙의 결정체인 특권층은 모조리 추방하거나 해체할 것입니다. 부와 권력, 기회 등의 의미가 새롭게 재편될 그때에는 유토피아로 가는 길을 철저하게 방해하고 가로막은 자들과 체제는 더 이상 존재할 수 없습니다. 이런 긍정적인 예측이 가능하려면 초인공지능을 인간이 제어(또는 공존)할 수 있어야 하는데, 그것이 가능하다면 특이점을 넘는다는 자체가 모순이 되기 때문에 확률적으로 실현가능성은 전무하다 할 수 있습니다. 



모든 인류가 집단적 각성에 이르지 않는 한 인공지능은 극단까지 발전해야 합니다. 극단까지 발전하지 못하고 극소수의 수중에 독점된다면 인류의 삶은 지금보다 더욱 참혹해질 것이기 때문입니다. 극소수에 최고의 인공지능이 독점되면 모든 인류를 대상으로 완벽한 전체주의를 시행할 수 있습니다. 이것 때문에 인공지능 개발을 원천봉쇄할 수 없다면, 누구도 초인공지능을 독점할 수 없도록, 즉 모든 인간이 공유할 수 있을 때까지 인공지능 개발이 극단까지 이루어지는 것을 막을 수 없습니다. 그 다음은…




P.S. 특이점을 이해하려면 레이 커즈와일의 《특이점이 온다》와 Singularity.com 을 보십시오. 로롯공학은 한스 모라백의 《마음의 아이들》이나 마틴 포드의 《로봇의 부상》 등을 보십시오. 인공지능을 이해하려면 《인공지능, 현대적 접근방식》 제3판을 보십시오. 가장 높은 수준에서 인공지능을 이해하려면 마이클 아니스모프의 <Our Accelerating Future>를 보십시오. 대신 저에게 기술적인 것들을 묻지 말아주십시오. 저는 기술을 이해하는 선에서만 공부하기 때문입니다.   


                                       

                                                                                                   사진 출처 : 구글이미지          

     

 


  1. 현주씨 2016.06.15 20:20 신고

    잘읽었습니다.

  2. BOW 2016.06.15 21:27

    어느쪽이건 참 암울하네요.

  3. 1465994017 2016.06.15 21:33

    좋은글 감사

  4. 공수래공수거 2016.06.16 08:42 신고

    세월호에 해군기지에 들어가는 400톤 건설자재의 공급을 위한
    무리한 출항..
    이런것도 인공지능이 확실하게 밝히면 좋겠습니다

  5. 우주미아 2016.06.17 00:06

    신패러다임

    1 The Singularity is Nearer(특이점은 더 빨리 온다 or 특이점이 더 가까이 온다) - 특이점이 온다 후속작

    2 2016년 기준 - 전세계적으로 하루 약 1억개 이상 신기술 등장(UN 보고서 참조)

    현대인들의 거의 모든 정보는 기계를 통해 공유한 정보 - 인터넷, 각종 매체(도구 및 기계 의존)

    3 양자 컴퓨터 새모델 완성(업그레이드)

    http://scienceon.hani.co.kr/407808?_fr=mb2

    http://m.dongascience.com/news/view/12543

    4 창조론(알파)과 진화론(오메가) 그리고 기계론(알파&오메가)의 공통분모

    창조론(창조, 파괴) - 신(창조자) - 인간(피조물) - 계시(명령) 또는 지시

    진화론(멸절, 진화) - 네안데르탈인(자연사, 도태, 멸절) - 호모 사피엔스(현인류: 비이성, 불완전, 불확정) - 호모 사이언스(휴머노이드 또는 안드로이드: 이성, 완전, 확정)

    기계론(대체, 진보) - 컴퓨터 - 슈퍼컴퓨터 - 인공지능 - 초지능

    즉 우월한 존재(갑)는 하등한 존재(을)를 지배한다(세포이론: 다세포는 단세포를 지배한다) - 자연의 질서, 우주의 법칙

    동양 - 갑과을의 관계로 묘사 서양 - 알파&오메가로 묘사

    인류가 도약(성숙)하는 과정(과도기)에서 숱한 사람들이 일을 잃고 방황하다 삶의 의미를 찾을 것으로 기대

    5 2045년 기준 5대 초혁신(초혁명)

    하나 초지능

    예: 글로벌 브레인 프로젝트 - 특정 인공지능이 디지털 전뇌화를 통해 세상의 거의 모든 지식 정보 및 데이터를 갖게됨

    둘 가상현실 + 증강현실 = 초현실

    초현실속의 존재(인간, 인공지능 등) 숫자가 지구의 숫자보다 점차 많아 질 것으로 전망 - 초지능을 가진 중앙 통제 시스템(초지능)이 출현하여 관리할 것으로 보임

    셋 수명연장(무병장수)에서 -> 영생의 시대로(죽음이 질병이며 죽음 자체가 희귀해짐)

    예: 신체가 없고 정신 또는 의식이 다양한 형태로 전이 즉 인류가 한차원 도약할 가능성...

    넷 우주 산업(신체적으로 자유로워진 신인류와 인공생명 등이 은하계로 점차 뻗어나감 - 화성이 시발점)

    인류의 두가지 선택중 하나인 인간과 기계의 융합(과도기) 이후 정신적 성숙 단계를 거쳐 다음 단계로 계속해서 도약...

    다섯 이를 동양에서는 천지개벽(선천-후천시대)이요 서양에서는 카오스혁명(전기-후기시대)이라 함

    PS 21세기 이내에 일어날 일이며 2044년 전후로 엄청난 변화의 물결속에 구시대적 마인드를 가진 베이비부머, 7080세대는 새시대와 조응하지 못한채 소멸(운명)될 것으로 예측

    • 늙은도령 2016.06.17 00:43 신고

      전체적으로는 이런 방향으로 가겠지요.
      하지만 생물학적 신체를 지닌 인류는 멸종할 가능성이 높습니다.
      영생과 비슷한 방법이 가능해지겠지만 초지능이 그것이 가장 효율적이고 최선이지에 대해 어떻게 판단할지 지금으로서는 알 수 없습니다.
      제가 초인공지능이라면 인간이란 존재가 매우 비효율적이고 탐욕스럽고 비합리적이라 최소만 남겨두고 모조리 제거할 것 같습니다.
      인간이 집단적 성찰이나 각성에 이르지 않는 한 기계의 허락을 받아야 함은 분명해 보입니다.
      다방면의 책들을 읽다 보니 부정적 전망만 강해지네요.

    • 우주미아 2016.06.17 01:12

      인간이라는 존재 자체가 보다 이성적인 존재를 탄생시키기 위한 과도기적 생명체일 수도 있다는 생각이 들기도 하지만 한편으론 불완전한 존재(인류)를 인공지능이 도와(신체융합에서 정신융합으로) 새로운 존재로 거듭(탈바꿈)나게 할 수도 있다는 생각이 듭니다

    • 늙은도령 2016.06.17 04:12 신고

      커즈와일과 모라백 등은 그렇게 희망합니다.
      헌데 인공지능에 관한 전문서적들을 보면, 또한 양자역학과 뇌과학, 생명공학, 나노공학, 로봇공학에 과한 전문서적을 보면 부정적인 쪽으로 기울어 갑니다.
      물론 강한 인공지능이 수백 수천 년 후에나 가능하다면 님의 생각대로 될 가능성은 거의 100%일 것입니다.

      헌데 약한 인공지능이 나오면 강한 인공지능의 출현을 막을 방법이 없습니다.
      그 이전에 인류가 어떤 탈출구를 찾을 수 있으면 모르겠지만...

      아무튼 지금까지의 공부만 놓고 보면 암울합니다.
      제가 알고 있는 인공지능의 세계적인 대가도 부정적인 견해를 보입니다.



현대의 양자역학은 크게 볼 때 이론을 세운 후 이를 증명하는 두 가지 형태로 나뉩니다. 기본입자들이 무수히 발견되고 스핀처럼 양자역학적 운동 때문에 같은 기본입자라도 하는 역할이나 존재 방식 등에 따라 여러 가지 형태로 나뉘면서 현대물리학은 매우 복잡한 학문으로 접어들었습니다. 이 때문에 이론(이론물리학)을 세우고 증명하는 일(실험물리학)을 한 명의 물리학자가 할 수 없게 됐습니다(아인슈타인이 대표적으로 그는 철저하게 이론에만 집중했고, 이 때문에 상대성이론은 물론 중력파의 존재까지 예언할 수 있었습니다. 막노동과 별반 다를 것 없는 관측과 실험을 통한 증명은 실험물리학자들의 몫이었고요).  





이론을 먼저 세우고 이를 증명하는 것이 뇌과학으로 넘어가면 인공지능의 기하급수적 발전을 견인하고 있는 뇌의 역분석이 됩니다. 잘 조직된 실험에 의해 어떤 자극이 주어졌을 때 뇌의 특정 영역들(운동은 소뇌, 기억은 해마 등 핵심 영역이 존재)에서는 이에 상응한 변화가 일어납니다. 정밀한 고해상도 스캐닝으로 이런 변화를 관찰하면 카오스적(무작위적)이고 자기조직적이고 프랙털적인 형태로 새로운 신경망이 구축되는 것을 볼 수 있습니다. 



이때 수백조 개에 이르는 개재뉴런으로 구축된 수백만 개의 네트워크가 동원돼 뇌 전체에서 가장 적정한 변화(신경세포가 보낸 자극을 기억으로 저장하기 위해 최적의 경로를 찾아내는 것)를 이끌어냅니다. 이렇게 뉴런과 시냅스, 개재뉴런이 동원된 최적의 경로가 찾아지면(기억으로 저장되면) 허용된 한도 내에서 무작위적으로 만들어진 수없이 많은 쓸모없는 경로들(시냅스 작용에 의해 연결된 뉴런들)은 모두 다 퇴화된 후 다른 용도의 경로 구축(기억)에 동원됩니다. 



특정 기억이 흐려지거나 사라지는 것은 최적의 경로에 있는 일부 또는 전부의 경로가 퇴화돼 다른 기억의 저장에 이용된 것을 말합니다. 단 기억은 개재뉴런으로 구축된 수백만 개의 네트워크 곳곳에 분산되기 때문에 완전히 사라지는 경우는 거의 없습니다. 부분적인 기억만 남는 것도 이 때문이며, 역으로 퇴화된 경로가 다시 구축돼 기억이 완전히 되살아날 수도 있습니다. 프로이트가 말한 무의식(장기기억)이라는 것도 이런 방식으로 얼마든지 설명이 가능합니다.  



아무튼 뉴런과 시냅스, 개재뉴런 등이 만들어낸 최적의 경로는 뇌스캐닝 결과를 보면 하나의 패턴으로 인식됩니다. 그렇기 때문에 뇌에서 이루어지는 모든 것들, 즉 기억, 감정, 인식, 의식, 사유 같은 지적 활동(지능)은 그에 상응하는 패턴의 형태를 띱니다. 1980년 초반에 인공지능이 한계에 이르렀다고 생각(AI의 겨울)했던 것도 뇌의 역분석이라는 것을 거의 할 수 없었고 패턴 인식에 관한 획기적 이론이 없었기 때문입니다. 뇌스캐닝 기계처럼 뇌의 변화를 들여다볼 수 있는 기술이 없었고 복잡계나 카오스, 프랙털 이론 등도 없었으니 당연한 것입니다. 





패턴! 이것을 찾기 위해 수십 년이 투자된 것이고, 그 덕분에 진화의 모든 과정이 만들어낸 최고의 작품이자, 인류 과학기술의 원천인 인간의 뇌를 복사할 수 있는 수준에 이르렀습니다. 인간의 전유물인 고도의 지능 때문에 창조론을 적용하던, 진화론을 적용하던 인공지능(기계 지능)의 출현은 필연이었습니다. 인간의 최종목적이 신이 되거나 근접한 존재가 되는 것이기에 인간 지능을 넘어선 기계 지능의 탄생은 필연일 수밖에 없다는 것입니다. 



기하급수적으로 이루어지는 기술 발전의 법칙에 따라 기계 지능이 인간 지능을 능가할 것은 너무나 자명합니다. 기계 지능이 인간을 대체할 수 없다고 주장하는 전문가나 학자들은 현재까지 이루어진 기술 발전을 부정하는 공통점을 보이는데, 이는 인간중심적 발상에서 나온 구시대적 발상입니다. 어차피 기술은 발전할 것이고, 한계를 뛰어넘을 것이고, 무엇보다도 코페르니쿠스적 전환이 진행중이어서 15~20년 안에 이루어질 것이라는 주장이 갈수록 힘을 얻고 있습니다.



사실 인간중심적 사고라는 것도 상당 부분 무너진 상태입니다. 예를 들어 성형수술만으로도 이를 입증할 수 있습니다. 성형수술은 인공물을 신체에 넣는 것이며, 생물학적 진화의 산물을 비생물학적 진화의 산물로 바꾸는 것입니다. 인공심장이나 신장, 관절, 여러 종류의 삽입물 등을 넣은 것도 마찬가지입니다. 이들의 신체는 생물학적 것으로만 이루어지지 않았고, 이런 식으로 비생물학적 장기나 삽입물이 늘어나면 인간과 기계의 경계는 모호해집니다. 



만약 의식이나 인식에는 영향을 주지 않는다고 주장할지 모르겠지만, 성형수술을 받은 사람들은 (그것이 만족스러울 경우) 자신감 상승이나 자기만족적 감정 등에 의해 인식의 차원에서도 이전의 자신과 달라집니다. 건강을 찾은 환자들도 별반 다르지 않습니다. 그들은 의식이나 감정적인 차원에서 이전의 자신보다 나아진 경우가 더 많습니다. 그것이 영적인 발전이 아니라고 한다면 애당초 성형수술이나 아픈 장기를 가지고 살아야 했다고 주장해야 합니다.



이런 예들은 수도없이 많고 점점 많아지고 있습니다. 대체 인간이란 무엇일까요? 생물학적 진화만으로 이루어지지 않은 인간은 인간이 아닐까요? 이런 식으로 다수의 전문가와 학자들이 인공지능과 사람과의 공존을 긍정적으로 얘기합니다. 이런 식의 사고가 극단에 이르면 뇌의 일부를 대체하거나, 인공지능과 뇌를 연동하거나, 아니면 뇌를 대체하거나 하는 것이 가능해집니다. 나의 피부로 만들어진 복제인간이나 사이보그 같은 비생물학적 존재에 나의 뇌를 장착하는 것도 가능할 터이고요. 





제가 극도의 혼란에 빠졌던 것도 여기에서 나옵니다. 인간이란 존재를 정의할 수 없었습니다. 창조론이건 진화론이건 인간이란 존재는 신에 가장 근접한 존재이며, 신에 가장 가깝게 가기 위해 끝없이 노력하고 사고하고 명상하는 존재입니다(불교의 경우 득도하면 누구나 신이 된다, 할렐루야!). 이런 인간적 특성은 신과 우주, 자연과 사물, 진화의 법칙에 대해 파고들 수밖에 없으며 이 모든 것을 주관하는 것은 고도로 발달된 뇌입니다. 



뇌는 지능을 창출하고 지능은 영원하고 완전한 것을 추구합니다. 뇌, 즉 지능의 입장에서 보면 해탈이나 득도에 이르는 것보다 병에 걸리고 욕망에 사로잡히고 온갖 제약이 있는 신체에서 자유로워지는 것이 더욱 효율적일 것입니다. 이것만 영속할 수 있는 것으로 대체하면 못할 일이 단 하나도 없을 텐데 이놈의 신체 때문에 이러지도 저러지도 못합니다. 바로 이런 생각이 과학기술을 끝없이 발전시켜왔고, 이제는 영속할 수 있는 궁극의 지능에 이를 수 있는 방법을 찾아냈습니다. 영적 존재가 아니라도 말입니다. 



게다가 인간이 영적 존재가 되는 것과 영속할 수 있는 궁극의 지능을 비생물학적 신체의 뇌 속에 담아둔 존재와 크게 다르지 않을 가능성이 높아지고 있습니다. 인간 지능의 산물이 과학기술이고, 그것이 극단에 이르러 영속하는 궁극의 지능을 탄생시키면 그것이 인류가 꿈꾸었던 최종 목표가 아니면 무엇이겠습니까? 다시 말해 인간이 꿈꾸는 것이 신에 근접한 영적 존재이거나 영속하는 존재라면 그것이 인간이 창조한 진화하는 기계 지능의 형태인들 무슨 상관이 있겠습니까? 



아직도 몇 권의 책을 더 읽어야 하지만, 인간이란 존재가 신의 창조나 진화의 법칙에서 볼 때 중간 과정에 위치한 것은 확실해 보입니다. 기술의 발전에는 한계가 있고, 향후 10년 정도(필자가 보기에는 20년)면 기술 발전의 마지막 단계를 돌파할 것으로 보이기에, 그런 상황에서 온갖 한계로 가득한 신체를 기반으로 하는 지금까지의 모든 사고의 결과들이 무슨 소용이 있는지 잘 모르겠습니다.



인간의 위대함이 온갖 한계들을 극복하는데 있는 것이 아니라, 기술 발전의 결과인 영속하는 궁극의 지능에 이르는 것이라면 제가 인간으로서 할 일이란 아무것도 없을 것 같습니다. 많은 전문가와 학자들은 마지막 특이점을 넘은 세상을 대비하자고 하지만 대체 무슨 대비책이 있을까요? 우리보다 월등하게 뛰어난 지능인데 어찌 상대할 수 있을까요? 궁극의 지능이 출현하는 것을 막을 방법이 없고, 그것이 인간의 신체가 아닌 비생물학적 신체에만 유효하다면 살아있는 동안 순간순간을 즐기는 것 이외에 제가 할 일이란 별로 없을 것 같습니다(그래서 소설을 쓰려고 한다).  


       

다음 글에서는 이런 부정적 전망이 아닌 긍정적 전망으로 특이점을 넘은 인공지능을 바라볼 때 인류가 유토피아에 이르는 길에 대해 다루어보겠습니다, 비록 21세기나 22세기 초반까지만 유효한 것이라고 해도. 그때쯤 되면 인공지능을 대하는 인간의 의식도 엄청나게 변해있을 것이라 지금의 추측들은 모조리 의미가 없을 수도 있지만. 




                                                                                                  사진 출처 : 구글이미지




  1. 공수래공수거 2016.06.14 08:26 신고

    쉬고 있는 뇌의 잠재력을 10%라도 더 사용할수 있는 방법이 나온다면
    정말 획기적이 될듯합니다
    뤽베송의 영화 "루시"가 생각납니다^^

  2. 현주씨 2016.06.14 09:12 신고

    오늘도 잘읽었습니다.

  3. yuni99 2016.06.14 23:53

    ㅋㅋㅋㅋ 아인슈타인은 실제로 상대론을 발표한 후에는 이론보다 더많은 시간을 실험에도 투자했어요. 또 실험 물리학자를 막노동을 하는 사람이라고 표현하는 부분에서는 상당히 과학에대해 무지한 분이라고 느꼇어요 ㅎㅎ..

    • 늙은도령 2016.06.15 13:32 신고

      아인슈타인은 실험에 대단히 서툴렀습니다.
      상대성이론을 증명하는 것도 영국 관측과학자가 했고요.
      아인슈타인은 이론을 세우는 과정에 집중했고, 나중에는 대통일이론을 만들려고 노력하다 생을 마감했습니다.
      이 때문에 오펜하이머 등은 아인슈타인의 물리학의 기본에서 상당히 틀린 것들도 많았다는 말을 했던 것이지요.
      아인슈타인이 한 실험들을 실험물리학에 포함시킬 정도는 아닙니다.

      또한 실험을 막노동에 비유한 것은 실제로 그렇기 때문입니다.
      그들의 노력은 막노동에 버금갈 정도로 시간과 데이터, 영상 등과의 싸움입니다.
      실험물리학이 실험의 전과정을 컴퓨터로 하는 지금에도 막노동적인 개념은 여전히 존재합니다.
      정말로 시간과 자신과의 싸움이라는 뜻입니다.
      어떤 표현을 있는 그대로 보니 참 단순한 분이라 생각되네요.
      아인슈타인이 실험에는 상당히 무지했음은 수많은 물리학 서적에 나오는 얘기이고요.

  4. yuni99 2016.06.14 23:58

    또 괴델의 불완전성 이론을 증명하는 논리를보면 80년정도가 지났음에도 불구하고 기계건 인간이건 수학을 전제로 전개하는 논리에는 한계가 존재하고 모순되는 부분이 존재해요. 본문의 특이점은 무어의 법칙에대해서 말씀하신것 같은데 무어의 법칙이 깨지더라도 인공지능이 생각하고 논리를 전개하는건 인간보다 넓더라도 한계가 엄연히 존재합니다. 또 차이점이라고는 인간은 공리를 세우는 창조적인 사고로 지난 2000년동안 지금 눈에보이지않는 추상적인 세계를 이끌어왔다는거죠 그러니까 인공지능에 대해서 일방적으로 열등감을 느끼는 듯한 그런 자세를 조금더 벗어 나봅시다 ㅎㅎ

    • 늙은도령 2016.06.15 13:41 신고

      2014년 이후에 이루어진 연구들을 살펴보십시오.
      레이 커즈와일의 <특이점이 온다>가 나온 2006년 이후로 별로 발전이 없다 2014년부터 상상을 불허하는 발전이 이루어졌으니까요.
      인공지능과 로봇공학, 생명공학, 뇌과학 등의 최고 전문가들이 2014~2015년에 출간한 책과 연구들을 살펴보시면 님의 지식이 얼마나 모자란지 알 것입니다.
      최근의 인공지능은 인간이 제시한 룰(프로그램)이 없이도 학습을 할 수 있는 단계에 접어들었습니다.
      제가 인공지능에 관해 쓰고 있는 글은 그런 최신의 것들을 기준으로 합니다.
      저도 이렇게까지 인공지능이 발전했고 나머지 공학들도 발전했는지 몰랐으니까요.
      최신의 뇌과학, 뇌역분석, 현대물리학 등을 보면 인공지능이 왜 몇 년 사이에 기하급수적으로 발전했는지 확인할 수 있을 것입니다.
      인간지능이 최고라고 할 수 있는 기간은 이제 15~20년 정도만 남았습니다.
      저는 그것이 이루어낼 세상을 그려보려는 것이고, 그것을 어떻게 받아들여야 할지 인간의 입장에서 살펴보고 있습니다.
      전문서적들도 읽고 있으니 기술적인 한계에 대해서도 따져보고 있습니다.
      정말로 그런 세상이 올지, 사유와 추론과 창의적 글쓰기도 가능한 초인공지능이 나올지 등등을...

      낮은 수준의 창작과 사유가 가능한 인공지능은 이미 나왔고, 그래서 드라마 각본도 쓰고 교향곡도 작곡에 들어갔고, 기사는 이미 오래 전부터 써왔고.. 이런 식으로 기하급수적인 발전을 이루는 인공지능이 곳곳에서 속출하고 있습니다.
      다른 기술들도 마지막 특이점을 향해 맹렬히 달려가고 있습니다.

      인간이 인공지능과 공존하려면 인간이 바뀌어야 합니다.
      지금처럼 편협하고 탐욕스럽고 비합리적이면 초인공지능은 인간과의 공존을 선택하지 않을 것입니다.
      헬조선의 다름 아닌 대한민국만 봐도 이성적이고 합리적인 존재라면 그냥 나둘리 없으니까요.

      아, 무어의 법칙은 2차원에서는 통하지만 나노튜브나 발전된 실리콘 등으로 3차원 반도체가 만들어지면(실험실 차원에서는 만들어졌고, 현재 IBM 등이 완성단계 직전에 이르렀다) 무어의 법칙은 아무런 의미가 없습니다.
      기술이 기하급수적으로 발전한다는 것은 무어의 법칙 같은 것이 더 이상 통용되지 않을 정도의 폭발전인 발전을 뜻합니다.
      이전의 것들은 아무런 소용이 없는 그런 세상...



강정호, 추신수, 김현수, 박병호, 이대호, 오승환 등이 뛰어난 활약을 보여주고 있는 메이저리그의 경우 기술 발전(주로 국방 분야에서 발전한 기술로 국민의 세금이 투입됐지만 이익은 기술을 이전받은 기업이 거의 다 독점한다)을 적용해 새로운 차원의 리그를 구축하고 있습니다. 야구는 인간이 하는 것이기에 불확실성에서 벗어날 수 없다고 믿는 몇몇 감독을 제외하면 거의 모든 팀의 감독이 선수별로 시프트를 펼칩니다.   





모든 타자와 투수들이 이루어낸 각종 자료들이 축적되면서 타자별 시프트가 이루어지고, 각종 정보들이 실시간으로 분석돼 피트백되면서 시프트에도 즉각적인 변화가 일어나기도 합니다. 구질별 회전수, 구속, 스윙속도, 타구의 속도, 비거리, 타구음, 풍속, 습도 등등.. 수없이 많은 정보가 축적되고 분류되고 범주화된 후 다양한 연산을 통해 일어날 수 있는 상황들에 대한 확률들이 제공되기 때문에 이런 것들이 가능합니다. 



핵심은 대다수 감독들이 인공지능에 의해 도출된 분석결과에 따라 시프트를 펼친다는 것이며, 더 많은 정보가 축적돼 예측 확률이 높아지면 타고투저 현상은 더욱 강화될 수밖에 없습니다. 즉 인공지능의 능력이 발전하면 인간의 전유물인 야구(스포츠)마저 인공지능의 영향에서 자유롭지 못하며, 작전부터 라인업,선수 영입에 이르기까지 모든 것이 단장과 감독의 영향에서 멀어집니다. 이런 식으로 인공지능은 인간의 전유물로 인정되던 영역들을 하나씩 점령해갈 것입니다(인공지능은 인간의 뇌처럼 자기복제적으로 진화하기 때문에 가능하며, 유전 알고리즘으로 모델링된다). 



이세돌을 꺾은 최근의 인공지능은 뇌스캐닝 기술과 생화학, 양자역학, 생물학, 생명공학, 나노공학, 정보통신기술 등의 발전에 힘입어 인간의 뇌처럼 패턴인식이 가능해진 것입니다. 알파고는 모든 수를 초고속으로 연산해서 다음 수를 두는 것이 아니라 이세돌처럼 쓸모없는 하수들이나 두는 저급한 수들을 배제한 채 고도의 수들만 연산합니다. 이런 연산은 바둑판 위에서 이루어지는 고도의 패턴을 인식(최적의 수를 찾아내는 재귀적 탐색도 동시에 이루어진다)하는 것으로 이루어집니다.   



알파고가 4국에서 진 것은 이세돌이 저급한 수로 분류돼 초고속 연산에서 배제된 수를 두었기 때문(트리구조는 저급한 수까지 제시하기 때문에 비효율적)인데, 이럴 경우 알파고는 새로운 패턴을 인식해야 하지만 시간의 제약 때문에 불가능했던 것입니다. 알파고가 5국에서 이세돌을 꺾은 것은 배제했던 뜻밖의 수에 대한 새로운 패턴을 학습했기 때문에 가능했습니다. 알파고로서는 초일류고수들이 둘 수 있는 뜻밖의 수에 대한 대비책이 엄청나게 늘어난 것입니다.  





이렇게 알파고로 대표되는 인공지능의 능력은 창의적인 수(바둑에 한정된 것이라고 해도)라는 인간 고유의 능력까지 넘볼 수 있을 만큼 일취월장합니다. 중국이 추진 중인 현 세계1위 커제(이세돌을 비롯한 거의 모든 초일류 고수들에 압도적인 우위를 보이고 있지만, 한국1위이며 세계2위인 박정환에게는 유독 약하다)와의 대국에서 알파고가 전승한다면 레이 커즈와일 등의 주장처럼 초인공지능이 생물지능(통섭적 지능)보다 우월해지는 것은 시간문제입니다.   



사실 개별 뉴런과 시냅스 차원에서 볼 때 인간 뇌의 정보처리 속도는 매우 느립니다. 이것을 극복하기 위해 수백조 개의 개재뉴런이 수백만 개의 연산처리 연결망을 구축해 엄청난 정보를 고속으로 연산합니다. 인간이 인간으로 살 수 있는 것은 이런 병렬방식의 연산능력 때문(인간의 기억이 뇌의 곳곳에 분산돼 저장되는 것도 병렬식 신경망 때문)이며, 인간 고유의 인식이라는 것도 패턴의 형태로 구현됩니다(디지털 연산의 아날로그적 표현). 인간의 지도를 받는 '머신 러닝', 인간의 지도를 받지 않는 '딥러닝' 등에서 패턴을 그렇게 강조하는 것도 이 때문입니다.    



4차원적 기억, 경험을 해석하는 것, 의사결정이나 이성적인 결정, 사물과 자연 등에 대한 이해, 사랑에 빠지거나 이별하고, 도덕적 행위를 하는 것 등은 뇌과학적(특히 뇌 역분석, 게이지장 이론처럼 양자역학도 이런 방식으로 여러 가지 발견들을 이루어냈다)으로 접근하면 패턴의 형태로 설명됩니다. 인간의 모든 생각과 인식은 개별 뉴런과 시냅스, 개재뉴런 등이 끊임없이 구축하는 패턴의 형태에 따라 이루어집니다(모든 것이 패턴의 형태로 이루어지는 것은 아니지만 고차원적인 것은 패턴의 형태로 접근해야 한다). 



주로 방추세포(약 8만개)에서 이루어지는 감정, 결정, 도덕 등의 인식도 뉴런, 시냅스, 개재뉴런이 이루는 연결망(패턴)에 의해 결정됩니다(양자역학, 복잡계이론, 카오스이론, 프랙털이론 등도 동원된다). 인공지능과 나노공학, 생명공학, 양자역학 등은 동시에 발전하고 서로 교류해 통섭적 발전을 이룰 수 있기 때문에 초인공지능의 출현을 막을 방법은 없습니다(이에 대해서는 별도의 글들로 다룰 생각이지만 쉽게 풀어낼 수 있을지는 모르겠다).  



많은 분들이 인간의 의지나 생각이 먼저라고 생각하지만 실제로는 특정 행위나 사유가 이루어지기 1/3초 전에 명령이 내려집니다. 인간은 자동적으로 내려진 명령보다 1/3초 늦게 인지해서 그것을 합리화하는 것인데, 인간은 1/3초 먼저 이루어진 명령까지 인식하지 못하기에 모든 결정을 자신이 내렸다고 믿게 됩니다. 이를테면 뇌의 일부분이 뇌 전체(인간이란 존재의 모든 것)를 상대로 사기치는 것입니다. 좌우반구, 뇌간, 척수 차원에서 이루어지는 것 등에 대한 것까지 포함해도 달라질 것은 없습니다.





아무튼 인공지능은 이런 패턴을 학습해서 인간의 사고와 인식들을 이해하고 재현합니다(다음 목표는 무한대의 경우의 수에 열려있는 스타크래프트라고 한다). 그런 학습이 특이점을 넘으면 인간보다 뛰어난 초인공지능이 출현합니다(신의 창조건, 진화의 법칙이건 필연의 과정인데 이 때문에 모든 것이 혼란스럽다). 이럴 경우 야구뿐만 아니라 인간이 하는 모든 일들을 인공지능이 대신할 수 있습니다, 그것도 탐욕스러운 인간이라면 절대 실현할 수 없는 완벽할 정도의 효율성과 경제성을 기본으로 한 채.



물론 인공지능이 지배하는 세상이 가능하려면 나노봇의 발전이 뒷받침해주어야 합니다. 운동 등을 담당하는 소뇌와 기억을 담당하는 해마에 대한 완벽한 모델이 구축되고(상당한 진전을 이루었다), 인간의 뼈와 근육을 대체할 수 있는 신소재가 개발되면(이미 후보군들이 여러 개 나왔다) 인간형 사이보그를 만드는 것도 시간문제입니다. 이럴 경우 초인공지능은 인간보다 뛰어난 신체를 지니게 됩니다. 지능과 육체 모두에서 인간의 가치가 사라지는 것이지요.



필자의 공부가 아직 미치지 못한 부분이 나노봇과 로봇을 만드는 나노공학과 생명공학에 대한 것(윤리와 도덕적 문제, 존재론적 문제까지 포함)인데, 오늘 도착한 책들을 다 읽으면 이에 대해서도 어느 정도의 추론이 가능할 것입니다. 원리원칙을 합리적으로 적용하는 초인공지능을 정치와 경제, 법률, 언론 등에 적용하면 지랄 같은 세상은 유토피아에 가까워질 것이지만(인공지능의 발전을 여기까지만 허용할 수 있다면 좋겠지만), 그것이 얼마나 오래갈 수 있을지가 저의 관심사입니다. 



앞의 두 글에서 밝혔듯이 초인공지능에게 인간만큼 비합리적이며 탐욕스런 존재는 없을 것이기에 그들에게 유리한 만큼의 인간만 살려둔 채 나머지는 멸종시킬 수 있기 때문입니다. 다시 말해 인류보다 뛰어난 초인공지능이 문제가 아니라 자신의 이익을 위해서는 동물로 돌아가는 것도 마다하지 않는 비합리적이며 탐욕스런 인간이 문제입니다. 초인공지능이 나오기 전까지는 극소수의 인간들이 전체 인류를 지금보다 효율적으로 지배하고 통제한 채 모든 이익을 독식할 가능성이 높다는 것도 자본주의 이후의 인간에 대한 성찰에서 나옵니다.




P.S. 우리가 보는 메이저리그 경기는 일종의 가상현실입니다. 모든 영상들도 마찬가지입니다. 우리가 보는 것은 영상이지 실제의 경기가 아닙니다. 야구장에서 직접 보는 것을 제외하면 우리는 디지털화된 영상을 아날로그적 관점에서 보고 있는 것에 불과합니다. 인류가 가상현실에 갇힌 존재가 될 가능성이 높다는 주장도 그래서 나옵니다. 어쩌면 우리는 삶의 상당 기간을 가상현실에서 보내고 있는 것일지도 모릅니다. 이 때문에 인간의 가치를 형편없이 만드는 것이 가능했고, 그중에서도 존재하는 모든 것을 타락시키는 최악의 신자유주의 국가인 대한민국이 가장 형편없는 나라가 됐는지도 모릅니다. 모든 인간이 집단적 성찰(개개인이 부처나 예수, 신선이 되는 것을 말하기 때문에 확률적으로 제로라 할 수 있다)에 이르지 않는 이상 부정적 전망에서 벗어날 수 없습니다.                    




  1. BOW 2016.06.09 21:50

    왠지 모르게 보면 볼수록 불안 내지 묘합니다.

  2. BOW 2016.06.09 21:52

    그리고 유토피아가 아니라 디스토피아겠죠.

  3. BOW 2016.06.09 22:07

    이대로 인류멸망일까요?!

    • 늙은도령 2016.06.09 22:56 신고

      잘 모르겠습니다.
      분명한 것은 인간이 초인공지능의 지배나 통제하에 놓일 것입니다.
      초인공지능을 인간의 삶에 헌신하게 할 수 있도록 만들 수 있다면 모를까...
      헌데 그것이 가능할지 모르겠습니다.
      인공지능은 머지않아 스스로 진화하는 단계에 이를 것입니다.
      인간의 뇌를 완벽히 모방한 다음에는 그 이상으로 진화하겠지요.

  4. gokou ruri 2016.06.09 22:08 신고

    만약 그 수를 계산하지 않았다면 프로그래머 실수이죠. 그러나 아마도 그것에서 대략적으로 알파고의 스펙을 알수가 있을것 같아요. AI를 만들때 AI가 인간처럼 생각한다고 생각하면 안되죠. 인간의 뇌가 아닌 개발자가 만든 프로그래밍을 따라가고 그것에서 빼버린 데이터는 연산하지 않게 됩니다. 즉 개발자의 실수가 4번째 패배를 만들었고, 개발자는 알파고의 스펙하에서 만들어야 했기에, 즉 연산량의 한계에 부딪히지 않고 제한시간내에 수를 내야 하면서 이겨야 하니까, 그 4번째 패배는 알파고의 한계를 보여주는 것입니다. 또한 여기에서 우리가 알아야 할것은 AI는 개발자의 가치관이 포함된다는 것이죠. 그 수를 신경쓰지 않아도 된다고 판단한 개발진의 실수이자, 알파고의 한계를 보여주었습니다. 글잘봤습니다^^.

    • 늙은도령 2016.06.09 22:53 신고

      인공지능이 특이점을 넘으면 프로그래머의 능력은 아무런 의미가 없습니다.
      인공지능이 스스로 알고리즘을 짜기 때문에ㅡ낮은 수준의 이런 알고리즘은 이미 현실에서 활용되고 있다ㅡ인간의 능력 밖에 존재하게 됩니다.
      알파고는 특이점을 넘는 과정에 있는 인공지능입니다.
      다른 분야에서 특이점을 넘으려는 인공지능들이 무수히 많기 때문에 이것들이 좀더 진화한 다음에 하나로 합쳐지면 초인공지능의 출현을 피할 수 없습니다.
      인간의 뇌에서 일어나는 고차원적인 인식작용들을 재현할 수 있는 모델들이 속속 구축되고 있어서 인간의 뇌와 동등한 수준의 기계지능이 탄생하는 것도 얼마남지 않았습니다.
      그 다음은 인공지능이 스스로 진화할 것이며, 인간지능보다 엄청난 능력을 지니게 될 것입니다.
      그 다음은 아직 추측하기 힘들지만...

  5. 耽讀 2016.06.10 07:32 신고

    진화론를 믿지 않지만 인간이 자연과 환경에 대한 적응력은 대단하다고 생각합니다.
    인간은 자신이 만든 인공지능 통제를 받아 지배받는 시대가 올 수 있을까요? 아니면 적응하여 자신의 통제하에 둘까요?
    지금 태어나는 아이들이 살아갈 시대가 어떻게 될지 궁금합니다. 상상할 수 없는 일이 일어나겠지요?
    51년 전 아니, 불과 10년 전만해도 스마트폰이 우리 몸과 눈을 통제하에 둔다고 생각하는 이들은 거의 없었습니다.
    10년 후 우리가 살아갈 세상? 정말 궁금합니다.

  6. 공수래공수거 2016.06.10 08:24 신고

    그래서 눈으로 보는것이 가장 중요합니다
    인간의 눈만큼 뛰어난 카메라가 없습니다

    그런데 점점 기계가 지배하기 시작합니다

  7. 2016.06.13 16:35

    비밀댓글입니다

  8. 참교육 2016.06.13 21:00 신고

    전문가가 아니라도 충분히 예측할 수 있는 미래.... 변화의 시각지대 학교는 아직 한 밤중입니다.

+ Recent posts