DS4에 대한 몇 마디

핵심 내용 1

용 로컬 추론 엔진인 는 예상보다 빠르게 확산됐고, 단일 모델 중심의 로컬 경험에 대한 수요를 드러냄빠른 확산의 이유는 같은 준 프런티어 모델의 등장 및 성능과 속도, 비트의 강한 에 대한 몇 마디 (.) 일전 댓글 개 용 로컬 추론 엔진인 는 예상보다 빠르게 확산됐고, 단일 모델 중심의 로컬 경험에 대한 수요를 드러냄 빠른 확산의 이유는 같은 준 프런티어 모델의 등장 및 성능과 속도, 비트의 강한 비대칭 양자화 조합이 함께 작용해서 또는 만으로도 모델 실행이 가능해진 것 는 특정 모델에 묶인 프로젝트가 아니라, 장비에서 빠른 최신 오픈 가중치 모델을 중심에 두려 함 로컬 추론에서는 질문에 따라 -, -, - 같은 전문 모델을 불러 쓰는 방식이 의미 있어 보임 향후 초점은 품질 벤치마크, 코딩 에이전트, 자택 하드웨어 기반 , 포팅 확대, 직렬병렬 분산 추론임 의 빠른 확산과 배경 는 예상보다 빠르게 인기를 얻었고, 단일 모델 통합에 초점을 둔 로컬 경험의 수요를 보여줌 빠른 확산에는 같은 준 프런티어 모델의 등장, 로컬 추론 판도를 바꿀 만큼 큰 성능과 속도, 비트의 강한 비대칭 양자화 조합이 함께 작용함 이 조합으로 또는 만으로도 모델 실행이 가능해짐 최근 몇 년간 축적된 로컬 운동의 경험이 개발 속도에 영향을 줬고, .의 도움이 없었다면 주일 만에 만들기 어려웠을 것으로 보임 첫 일주일은 재미있지만 피곤했고, 하루 평균 시간씩 작업했으며 초기 몇 달과 비슷한 강도였음 는 로 시작하고 끝나는 프로젝트가 아니며, 시간이 지나면 중심 모델

세부 2

이 바뀔 수 있음 목표는 고성능 이나 같은 장비에서 실제로 빠르게 동작하는 최신 오픈 가중치 모델을 의 중심에 두는 것임 다음 후보는 새 체크포인트로 공개될 이며, 코딩용 버전이나 법률의료 같은 전문가 변형 모델도 가능함 로컬 추론에서는 질문에 따라 -, -, - 같은 모델을 불러 쓰는 방식이 의미 있어 보임 나 에 묻던 진지한 작업을 로컬 모델에 맡기게 된 것은 이번이 처음이라고 볼 수 있음 벡터 스티어링( ) 으로 을 더 자유롭게 쓰는 경험도 가능해졌고, 는 작은 로컬 모델보다 온라인 프런티어 모델에 훨씬 가까운 경험을 줌 초기의 혼란스러운 며칠 이후 프로젝트는 품질 벤치마크, 코딩 에이전트, 자택 하드웨어 기반 테스트, 더 많은 포팅, 분산 추론에 집중할 예정임 분산 추론은 직렬() 과 병렬() 방식을 모두 포함하며, 중요한 향후 과제로 남아 있음 는 단순히 서비스로 제공되기에는 너무나 중요한 요소임 에 포함된 글입니다. 에디터 코멘트 보기 함께 보면 좋은 글 - 용 로컬 추론 엔진 --로 조향()이 다시 흥미로워졌다 - .- 모델 실행하기 인증 이메일 클릭후 다시 체크박스를 눌러주세요 일전 - 의견들 는 를 실행할 수 있는 작은 추론 런타임이고, 블로그 글상으로는 현재 이 필요한 것으로 보임 맥락이 부족한 사람들을 위한 설명임 :-) 그건 전체 모델이 아니라 버전이고, 양자화도 대략 수준이라 인상적이긴 해도 전체 모델과는 꽤 다름 이 필요하다는 부분이 있는데, 이 더 적은 에서 돌리면 어떻게 되는지 테스트한 사람이 있는지 궁금함 동

세부 3

작은 하되 모델 계층을 저장소에서 가져오면서 조금 느려질 수도 있어 보임 가 .와 어떻게 다른지 궁금함 코딩에 필요한 지능이 어느 지점에서 충분함에 도달할지 매우 궁금함 어느 순간부터는 덜 똑똑한 모델을 더 오래 문제에 매달리게 해서 같은 결과에 도달할 수 있고, 내가 개입하지 않는다면 결과적으로 같은 셈임 는 거의 그 지점에 온 느낌이고, 도 그럴지 모름 그 지점에 도달하면 의 현재 사업 모델 중 얼마나 무너질지도 궁금함 지금까지는 가장 똑똑한 모델에 돈을 내는 게 당연히 가치 있었지만, 이제 그 개념의 성장 여지는 제한적이라는 게 분명해 보임 남은 활주로가 얼마나 긴지가 문제이고, 이 기업생산성 쪽으로 급하게 넓히는 것도 이미 이 흐름을 보고 있기 때문인지 궁금함 더 똑똑한 모델은 작은 모델이 못 하는 일을 그냥 해내는 경우가 있음 단순히 더 오래 기다리면 되는 문제가 아닌 듯함 결국 항상 비용의 문제로 갈 것임 개발자 시간, 개발자 비용, 비용, 개발자 생산성 사이의 균형임 .을 보면 일반 기업 기준으로는 비용 감내 한계에 가까워 보이니, 다른 변수들이 바뀌어야 할 듯함 오픈소스 코딩 에이전트 가 와 를 ., 와 비교 테스트했음 결과는 괜찮았지만 보다 점수가 꽤 낮았고, 의 현재 출시 프로모션 가격을 적용해도 비용이 거의 비슷했음 이 비용 구조가 흥미로운데, 과 에서도 비슷한 걸 봤고 직접 벤치마크할 때도 가격은 좋아 보이지만 토큰을 너무 많이 써서 더 비싼 모델과 비용이 같아지는 모델들이 있었음 취미 프로그래머에게는 꽤 빨리 충분히

세부 4

좋은 수준에 도달하겠지만, 기업은 여전히 더 빠르고 더 똑똑한 모델에 돈을 낼 것 같음 프로그래머를 왜 기다리게 하겠나 이렇게 좁게 집중한 도구를 발견해서 좋음 지원 백엔드는 이 주 타깃이고, 부터 시작함 는 를 특별히 신경 쓰고, 은 브랜치에서만 지원됨 가 직접 하드웨어 접근이 없어서 과 분리되어 있고, 커뮤니티가 필요할 때 리베이스하는 구조임 이 프로젝트는 .와 없이는 존재하지 않았을 것이며, 감사 섹션을 읽어보라는 내용도 있음 다만 아직 시스템 오프로딩은 지원하지 않는 듯함 그래서 . 이슈도 계속 지켜봐야겠음 이 브랜치에서만 지원된다는데, 실제로 해본 사람이 있는지 궁금함 이 스레드는 이야기가 많지만, 통합 메모리가 있는 에서 써보고 싶음 그만큼 이 들어간 을 아직 살 수만 있다면 좋을 텐데 에서 로컬 네트워크로 버전을 써봤는데 좋았음 여러 에이전트와 같이 사용하다가 작업을 너무 잘해서 로컬 모델이라는 걸 처음으로 잊어버린 경험도 있었음 다만 또 다른 에이전트가 정말 필요한지는 의문임 로 구동했는데 의 시스템 프롬프트는 프리필 속도를 생각하면 너무 무겁고, 결과는 훌륭했음 도 좋은 선택지임 전용으로 비슷한 도구를 하나 더 만들면 얻을 게 더 있는지 궁금함 기능적으로는 또 다른 에이전트가 필요하지 않음 하지만 자체의 아이디어를 따라가면, 에이전트는 구문을 으로 번역하는 등 이상한 일을 하게 만들고, 그 결과 정규화나 캐시 체크포인팅 문제가 생김 실제로 그런지와 별개로, 더 정상적인 대안을 제공하는 것도 의미 있음 이 분야에서 더 많은

원문: https://news.hada.io/topic?id=29541