오리진 " 앞으로 저녁은 오이김비빔밥🥒 "

안녕하세요. 에디터 오리진입니다.

최근 저는 이런 대화를 했습니다.

😙(저) : "직무 전문성을 위해 파이썬 공부할까"

🤔(친구) : "좋은 생각이긴 한데, 요즘은 챗GPT가 웬만한 건 되게 잘해주긴 해"

저는 업무에 있어 챗GPT를 자주 사용하는 사람인데도 이 대화에서 왜인지 충격을 받았습니다. 지금까지 공부하고, 스킬을 연습해서 능숙해지는 순서를 밟아야만 무언가를 할 수 있다고 생각해 왔는데, 그 앞단이 없어도 되는 시대가 와버렸다는 것을 갑자기 실감하였달까요. AI의 시대가 점점 우리의 앞으로 성큼 다가오고 있다는 생각이 듭니다. 우리가 준비가 되어있든 안되어있든 말이죠.

여기저기 AI가 중요하다고 하고, 준비해야 한다고 하는데, 문과라서 그런지 AI란 알다가도 모르겠다는 느낌입니다. 뭐랄까, 만화에서 마왕의 100층 탑쯤 오르는 느낌이랄까요. 새롭고 더 강한 몬스터가 층마다 계속 등장하는 느낌? 요즈음 뉴스에서 언급이 많아지고 있는 On Device AI(이하 온 디바이스 AI로 표기)도 그렇습니다.

온 디바이스 AI, 요즘 열풍입니다만.... 어떤 녀석인지 한 번 같이 알아볼까요.

이번 층의 상대는 온 디바이스 AI입니다

1. 엔비디아 주식의 고공행진

2. 온 디바이스 AI

3. 앞으로는 어떤 미래가

📈 엔비디아 주식의 고공행진

지난번 회사에서 같이 간 1박 2일 워크샵의 두 번째 날 아침, 제가 난데없이 비명을 질러 같이 자고 있던 팀원들을 깨웠던 해프닝이 있었습니다. 아무 생각 없이 사둔 엔비디아 주식이 신고가를 기록했기 때문입니다. 제 주식 투자 내역 중, 수익률이 100%를 넘는 첫 사례였는데요. 이후 시간이 흐르고 가장 최근까지, 엔비디아 주식은 오르고 올라 제가 이틀 전 팔 때쯤에는 250%를 넘었습니다. (제가 생각보다 쫄보더라고요. 만족하고 팔았습니다)

엔비디아는 2월 14일 시가총액이 1조 8,253억 달러를 기록하며 구글 모회사인 '알파벳'을 추월, 미 증시 빅 3 기업이 되었는데요. 이는 챗GPT가 촉발한 생성형 AI 열풍 속에서 GPU(Graphics Processing Unit, 그래픽 처리 장치)가 생성형 AI의 필수재로 여겨짐에 따라, GPU 시장의 점유율 과반을 차지해 온 1등 사업자 엔비디아에 대한 기대감이 반영되었기 때문입니다.

(출처 : 조선일보 조선경제 그래픽)

이러한 엔비디아가 최근 공개한 것이 있는데요. 바로 '챗 위드 RTX(Chat with RTX)'라는 서비스의 데모입니다. 이 서비스는 엔비디아 GPU 탑재 시 제공되는 PC용 온 디바이스 AI 서비스로, 컴퓨터 로컬 파일을 데이터로 학습하여 로컬 파일에 기반한 답변을 제공합니다. 프랑스 AI 스타트업 미스트랄 AI의 미스트랄, 메타의 Llama 2와 같은 LLM(Large Language Model, 대형 언어모델)을 탑재하여 Chat GPT와 같이 대화형으로 질문하고 답변을 얻을 수 있어요.

챗GPT가 인터넷에 연결하여 모두를 위한 범용적인 답을 내놓는다면, 챗 위드 RTX는 내 컴퓨터에 내가 만든 메모, 문서와 같은 파일을 기반으로 '나의 맥락에 맞는' 대답을 제공할 수 있다는 점이 차이점입니다. 예를 들면, '지난 금요일에 엄마가 추천해 준 식당이 어디였지?'라고 질문했을 때 챗GPT에서는 적절한 답을 얻기 어려운 반면, 챗 위드 RTX는 나의 데이터 기반으로 대답을 해주고 어디서 그 답을 얻어냈는지 파일명도 제공해 줄 수 있어요. 이러한 챗봇 서비스는 인터넷 연결 없이 디바이스 자체에서 돌아가기 때문에 보안의 걱정도 덜하고, 응답 속도도 더 빠릅니다.

물론 현재 이 챗봇 서비스는 데모 수준인 데다, 이전 대화 맥락을 오래 기억하지 못하는 단점이 있지만 PC용 온 디바이스 AI 서비스로서 주목할 만합니다. 보안 측면에서 챗GPT를 사용하지 못하는 경우가 많은데 내 컴퓨터에 있는 데이터 기반으로 분석까지 가능하다면 업무 차원에서 큰 변화로 다가올 수 있을 것 같다는 생각입니다.

논문 쓸 때 이게 있었더라면... (출처 : 엔비디아)

📱 온 디바이스 AI

그렇다면 챗 위드 RTX로 언급된 온 디바이스 AI에 대해서 알아볼까요?

우리에게 익숙한 AI란 보통 클라우드 AI의 형태입니다. 단말에서의 명령을 수집해서 데이터 센터로 보내면, 클라우드를 통해 명령을 분석하고 의도를 파악해 적합한 결과를 단말로 다시 내려주고, 단말은 결과를 시행해서 우리에게 보여주게 되죠. 반면 온 디바이스 AI는 서버를 거치지 않고 단말 자체에서 예측해 결과를 산출합니다. 명령을 받는 곳과 분석, 결과를 내려주는 곳을 분리하지 않고 단말에서 명령받아 단말에서 명령을 분석하고 처리하여 결과를 내려주는 형태입니다.

클라우드 AI vs 온 디바이스 AI (출처 : DBR)

온 디바이스 AI 형태는 아래와 같은 장점이 있습니다. 사용자의 실제 사용 환경과 맥락에 맞춘 개인화된 경험을 제공할 수 있을 뿐만 아니라 서버를 거칠 필요가 없으므로 지연이 덜하고, 보안 측면에서 강점이 있죠.

네트워크 연결에 대한 의존도가 낮음
보안/개인정보 보호
빠른 응답 속도
'나'의 데이터 및 환경에 최적화된 개인화
- 학습용 데이터 없이 현장에서의 데이터를 학습

다만 클라우드 기반의 AI에 비해, 복잡한 작업에 대한 정확도가 떨어질 수 있습니다. 사용자의 데이터가 적을 시 산출되는 작업물의 완성도가 떨어질 수도 있고요. 빅데이터 활용이 필요한 작업의 경우, 온 디바이스 AI는 적합한 형태가 아닐 수 있습니다.

이러한 온 디바이스 AI가 주목받고, AI 트렌드의 '다음 장'로 여겨지는 것에는 세 가지 이유를 들어볼 수 있습니다.

보안, 개인정보에 대한 관심 상승, 규제 강화
생성형 AI 기반의 고도화된 개인화 서비스 처리 시의 과다한 Traffic, 전력 소모
기술적 기반이 현실화하고 있는 상태

AI 열풍이 거세지만, 우리가 원하는 '자비스' 정도로 발전해 나가는 길목에는 꼭 부러뜨려야 할 지점이 있습니다. 바로 개인정보 보호, 보안의 영역이죠. 내가 자비스에게 내리는 모든 명령이 어딘가에 기록이 남고, 해킹되어 내가 어떻게 사는지 알 수 있다면 어떨까요? 이런 논란은 지금까지 있어왔던 것이기도 하죠.

AI 스피커가 나의 모든 대화를 녹음한다거나, 녹취록이 유출되었다거나 하는 논란이 있었어요. 그 후에 애플, 구글과 같은 빅테크와 국내 통신사 모두 녹음 데이터를 비식별화하고 보관기간을 줄이면서 녹취록을 보고서에 활용하지 않도록 한 바 있었죠. AI 스피커뿐만 아니라 아파트 단지 서버가 해킹되어 아파트 월패드를 통한 세대 내 영상이 해킹된 적도 있었습니다. 개인적으로는 저는 요즘 사용하고 있는 통화 녹음 서비스도 찝찝함을 느끼고 있지만 애써 흐린 눈 하고 있습니다.

앞으로 생성형 AI 기반으로 고객의 삶에 더 맞닿은 개인화 서비스를 제공하게 되는 미래에서는 보안에 대한 중요성이 더더욱 커질 수밖에 없습니다. 카메라를 통한 영상 인식, 음성 인식, 기타 센서 등으로 '나'의 정보를 다양하게 가져갈 수 있는 상태에서, AI 기반의 맞춤형 개인 서비스가 음성 스피커 수준에서 더 나아가 고객의 일상에 더 깊이 침투하려면 온 디바이스 AI가 나아가야 할 방향이 아닌가 싶어요.

"여러분! 제 최근 검색어는... #$%&입니다!" 개인 기록 털리는 느낌... 이런 게 아닐까요. (출처 : Unsplash의 Wan San Yip)

온 디바이스 AI 관련 기술은 쏟아져나오고 있어요. 현재 온 디바이스 AI 시장은 반도체 칩社가 주도하고 있는데요. GPU의 성능은 매년 좋아지고 있고, 특정 용도에 맞게 AI를 처리할 수 있는 맞춤 AI 칩도 성장하고 있습니다.

앞서 말씀드린 GPU는 여러 명령어를 동시에 처리할 수 있는 구조로 방대한 데이터를 연산 처리할 수 있지만, 그래픽 처리를 위해 만들어진 범용 칩이기 때문에 효율이 떨어질 수 있습니다. 고전력, 고비용의 문제도 있고요. 그에 대해 AI 처리에 특화된 NPU(Neural Processing Unit, 신경망 처리 장치)를 통해 저전력으로 단말 상에서 AI 처리를 할 수 있도록 프로세서 칩이 개발되고 있고 이미 해당 칩을 탑재한 제품들이 출시되고 있습니다. 예를 들면 삼성의 갤럭시 s24 ('24년 1월 공개) 울트라 모델에는 퀄컴의 스냅드래곤 8 3세대 칩('23년 10월 공개)이, 기본형에는 삼성이 자체 개발한 엑시노스 2400 칩('23년 10월 공개)이 탑재되어 있어요.

칩 제조사의 경쟁 속에서, AI 모델 최적화 및 활용이 더욱 수월해지고 있기도 합니다. 하드웨어 칩 뿐만 아니라 소프트웨어 차원에서 AI 솔루션을 제공하고 있는데요. 퀄컴을 예로 들면, AI 스택(Qualcomm AI Stack, AI 전용 서비스를 위한 도구 모음)을 통해 최적화된 생성형 AI 모델을 기기에 맞춰 적용할 수 있도록 제공하고 있어요. 스냅드래곤 8 3세대에서는 온 디바이스로 이미지를 생성하거나, 라마2를 기반으로 LLM 대화형 서비스 등의 기능을 지원합니다. 앞서 말씀드린 엔비디아의 챗 위드 RTX도 퀄컴에서 AI 기능을 제공하는 것과 마찬가지의 맥락에서 이해해 볼 수 있어요.

온 디바이스로 이미지를 생성하는 'Stable Diffusion' (출처 : Qualcomm)

네트워크 연결 없이 Llama 2 기반으로 비행 예약 (출처 : Qualcomm)

이러한 칩과 솔루션의 등장이 작년에 쏟아져 나왔다는 것을 생각하면, 관련 기술 발전이 참 빠른 속도로 달리고 있다는 생각이 듭니다. 그에 따라 시장에 이러한 발전에 대한 기대감이 반영되어 관련 주식의 가격이 나날로 높아지는 것을 볼 수 있어요.

퀄컴 주가 (출처: 구글)

앞으로는 어떤 미래가

사실 중요한 것은 이러한 기술이 어떠한 서비스로 우리 곁에 다가오는가, 그리고 그 서비스가 우리 소비자를 설득할 수 있는가가 아닌가 싶습니다. 지금까지 출시된 기기에서의 온 디바이스 AI 기능을 알아볼까요.

- 구글 : 픽셀 8 프로 'Smart Reply' & 'Auto Summarize'

Smart Reply, Auto Summarize (출처 : 구글)

구글 픽셀 8 프로('23년 10월 출시)는 구글의 LLM '제미나이 (Gemini)'의 나노 버전이 탑재된 모델입니다. 최초의 'AI 핸드폰'으로 홍보되면서 'Magic Editor', 'Best Take'와 같은 사진 편집 기능, 'Circle to Search'와 같이 동그라미를 그리면 구글 검색 결과를 보여주는 검색 기능 등 다양한 AI 기능을 선보였지만 온 디바이스로만 구동되는 기능은 'Smart Reply'와 'Auto Summarize' 두 기능 뿐입니다.

Smart Reply 기능은 구글 키보드 사용 시 대화 맥락을 분석해 적절한 답변을 제안하는 기능인데요, 아직 왓츠앱에서만 작동하게 되어있지만 향후 작동되는 영역을 늘릴 것이라 발표한 바 있어요. Auto Summarize 기능의 경우, 기존 구글폰 기종에서는 네트워크 연결이 되어있어야만 녹음 어플에서의 녹음 내용 요약이 가능했는데, 픽셀 8 프로에서부터는 네트워크 연결이 없이도 녹음의 실시간 요약이 가능하도록 제공합니다. 두 기능 모두 다른 사람과의 대화 내용이라는 개인 정보의 영역에서, 즉 보안 차원에서 온 디바이스 AI를 활용한 사례입니다.

- 삼성 : 갤럭시 s24 'AI 라이브 통역 콜'

실시간 통역 기능 (출처 : 삼성)

삼성의 갤럭시 s24 시리즈('24년 1월 공개)는 많은 분이 이미 기능을 알고 계실 텐데요. 화제가 되었던 '실시간 통역 기능(Live Translate)'이 온 디바이스 AI 사례입니다. 네트워크 연결 없이도 기본 탑재된 전화 앱을 통해 실시간 통역 통화가 가능합니다. 갤럭시 s24는 삼성, 구글, 퀄컴의 합작으로 구글의 제미나이 나노, 삼성 자체 AI 모델인 가우스가 탑재되었다고 알려졌는데, 가우스 LLM 모델 기반으로 구동되는 기능이라고 합니다. 원 음성을 안 들리도록 설정하면, 통역 음성만 들을 수 있어 실제 전화하는 것처럼 사용할 수 있는 특징도 있어요.

- 애플 : 모르는 사이 이미 여러 군데에....

Face ID, autocorrect, Journal 앱 (출처: 애플)

AI에 있어서 애플의 발전이 생각보다 더디다고 생각할 수 있지만, 사실 온 디바이스 AI의 측면에서 애플은 AI라고 말만 안 했지 계속 관련 기능을 내고 있었습니다. 2017년부터 자체 개발 실리콘 칩에 NPU를 탑재해 왔으며, 익히 알고 있는 Face ID도 디바이스 단에서 정보를 저장하고 처리하는 온 디바이스 AI의 예시입니다. 애플 서버와 분리하여 정보를 처리하고 있으며, 애플에서는 Face ID의 정보를 절대 알 수 없다고 하죠.

😎 웹에서 보기

지난 WWDC 2023에서 발표한 기능도 온 디바이스 AI라고 볼 수 있습니다. '일기(Journal)' 앱은 일기 작성 앱으로, 핸드폰 내의 사진, 위치, 메모 등을 자동으로 분류해서 사용자가 편하게, 사용자 각각의 맥락에 따라 일기를 작성할 수 있도록 제안해 줍니다. 앞서 보여드린 구글, 삼성의 예시와 같이 실시간성이 중요한 것, 그리고 개인 정보와 맞닿아있어 보안성이 중요한 부분에 적용된 것을 알 수 있습니다.

애플은 2024년 공개 예정인 iOS 버전에 온 디바이스 AI를 접목, LLM을 가동하여 거대 데이터를 처리할 수 있도록 할 예정이라고 알려져 있기도 합니다.

- 모바일 외로도 여러 기기에 적용될 수 있다

앞서 주로 모바일에서의 온 디바이스 AI 사례를 나열했는데, 사실 온 디바이스 AI는 모바일뿐만 아니라 PC, 가전, 자동차 등의 영역에서 구현될 수 있고 해당 영역에서 더 '킬러 서비스'가 나올 수 있다고 생각됩니다. 모바일이나 PC는 인터넷 연결이 안 되는 경우가 크게 없고 서버에 연결되지 않고 로컬에 저장되는 데이터가 한정적입니다. 온 디바이스 AI 사례는 거의 대부분 개인정보, 보안과 관련된 영역이고 애플처럼 온 디바이스 AI로 명명되지 않았을 뿐이지 이미 제공되고 있는 부분도 있었고요. 우리가 모바일이나 PC를 이미 인터넷 기반으로 쓰고 있다는 점에서, 모바일/PC 기반 앱 중 순전히 온 디바이스 AI로서 세상을 바꿀만한 킬러 서비스를 내는 것은 어려운 일 같아 보입니다.

예를 들면, 구글 어시스턴트에 LLM이 접목된 '어시스턴트 위드 제미나이(Assistant with Gemini)'* 의 경우 기존 어시스턴트에 챗GPT와 같은 생성형 AI 기반의 챗봇 기능을 제공하는데, '나의 맥락에 맞는' 서비스를 제공할 때 참조하는 것은 구글 독스와 구글 드라이브, 구글 메일입니다. 온 디바이스 AI가 강점을 가진 것은 고객의 맥락에 맞춘 개인화 서비스 제공에 있어 보안을 보장한다는 것인데, 어시스턴트 위드 제미나이의 경우는 참고할 수 있는 서비스가 애초에 서버 기반이니 온 디바이스 AI가 아닌 것이죠.

* 기존 Bard가 Gemini로 통합되었습니다.

반면, 기존에 통신 연결이 제한적이었고, 소통할 수 없다고 느꼈던 기기들에서 제공되는 온 디바이스 AI는 일상에서 체감할 수 있는 큰 변화를 불러올 수 있을 것입니다. 스마트 홈 환경에서 각 방의 조명, 냉장고, TV, 에어컨 등을 어떻게 사용하는지에 대해 단말 단에서 학습하고 그에 따라 맞춤형으로 루틴 제안을 해줄 수 있거나, LLM 기반으로 맥락에 맞춰 일상 환경을 조절할 수 있다면 큰 변화로 다가오지 않을까요? 자동차 역시 안정적인 네트워크 연결이 보장되지 않고, 보안이 중요하며, 즉시성이 중요한 특성이 있어 온 디바이스로 생성형 서비스가 제공되었을 때 잠재력이 있어 보입니다.

이런 측면에서 삼성과 구글, 애플은 강점이 있을 수 있는데요. 모두 다양한 디바이스를 보유하고 있는 사업자이기 때문입니다.

먼저 삼성은 '가우스 AI'를 기반으로 홈 AI Hub이라는 상표 출원 준비 중으로 알려져 있어요. TV, 세탁기, 냉장고 등 대형 가전에 NPU를 탑재하여, 가정 내 모든 디바이스에서 AI 서비스를 제공한다는 것인데요. '홈 AI 엣지 허브 기술'로 AI 기능을 수행할 수 있는 기기가 AI 기능이 없는 다른 기기와 네트워크를 통해 음성 인식, 상품 인식 등의 기능을 수행할 수 있도록 할 계획이라고 합니다. 타이젠 OS를 탑재하고, 타이젠 OS 기반으로 기기 간 네트워크를 구축하여 저가형 가전의 AI 서비스 요청을 고성능 기기가 온 디바이스로 대신 처리하는 방식으로 생각됩니다.

애플 역시 Apple TV, 홈팟, 에어팟과 같이 이미 가지고 있는 기기 생태계를 어떻게 활용하여 애플만의 온 디바이스 AI 시나리오를 제시할지 기대가 되는 부분입니다.

(출처 : 삼성)

격변하고 있는 AI 시장, 어떤 미래로 나아갈지 가늠이 되지 않지만 아직 그려지지 않은 시장이라는 점에서 성장할 수 있는 폭이 무궁무진하다고 느껴집니다. 다만 사업자별로 어떤 자산을 가지고 있는지, 가지고 있는 상품/서비스의 특성상 어떤 방식이 유리할지 체크하여 사용자를 설득할 수 있는 AI 서비스로 다가가는 것이 중요하지 않을까, 싶습니다.

AI 서비스는 항상 발전하고 있고, 돌아보면서 '정말 옛날 얘기다' 하는 날이 올 수도 있다는 생각을 쓰면서 했습니다. 현재 회사에서 적용할 수 있는 AI 사례 역시 고민하게 되더라고요. 😵 AI, 참 어렵군요....

편집/윤문 | 찬비

🥣22kg 감량 유지어터 디디미니의 일주일 3kg 빠지는 k-다이어트 비빔밥 레시피 모음집🥣

에디터 <오리진>의 코멘트

요즘 밥만 먹으면 졸음이 몰려오고.... 당이 치솟는 느낌을 받고 있어요. 2024년 새해 다짐 짠다고 돌이켜보다가 느낀 건데, 2023년 동안 바쁘다고 건강을 포함한 자기관리를 너무 내려놓았던 것 같아요. 건강도 그렇고 그간 붙은 군살을 생각해서 앞으로는 건강식을 먹어볼까 싶은 와중에, 회사에서 친한 분이 오이 김 비빔밥 레시피를 추천해 주셔서 여기에 정착하려고 합니다. 저녁 식사를 이렇게 먹으면... 좀 건강해지지 않을까요? 운동을 하면 효과가 명확할 텐데 먹을 걸로 쉽게 쉽게 넘어가려 하는 것 같기도 하지만요.

혹시 비슷한 고민/다짐을 하신 분이 있다면, 추천해 주신 분 왈, 위 레시피는 그냥 식초를 쓰는 것이 아니라 사과 🍏 식초를 사용하는 것이 핵심이라고 하니 참고해 주세요. 건강! 건강! 건강을 부르짖는 요즘입니다만 어른이 된 느낌이군요. 🤭

☕️ 오늘의 레터가 좋았다면 커피값 후원하기

💌 오늘의 레터를 피드백 해주세요!

👉 지난 어거스트 보기

💜 어거스트 구독하기 : 어거스트 구독 링크를 복사해 친구들에게 알려주세요!

💌 협업문의 augustletter08@gmail.com

Written by Zoe • 구현모 • 후니 • 찬비 •식스틴 • 나나 • 오리진