DeepSeek R1: в чем сила?

Сегодня даже очень далекие от ИИ люди слышали про новую нейронку DeepSeek от китайских товарищей. Возникший вокруг нее бум привел к рекордному падению стоимости акций американских бигтехов, перевалившему в сумме за триллион долларов. В частности, только Nvidia потеряла аж 17% в стоимости своих акций, что эквивалентно $600 млрд. Вновь избранный президент США Дональд Трамп назвал появление DeepSeek R1 буквально “wake up call” (тревожным звонком). К концу января 2025 мобильное приложение от DeepSeek потеснило в AppStore приложения всех других ИИ гигантов, включая OpenAI, а по Сети поползли слухи что китайцы украли у OpenAI обучающие наборы данных.

Так в чем же сила DeepSeek? А давайте у нее и спросим.

Что такое reasoning модели?

Reasoning или “думающие” LLM модели, такие как ChatGPT o1, DeepSeek R1 и тп отличаются от своих более простых собратьев тем, что перед формированием окончательного ответа на запрос пользователя, они пускаются в размышления о том, какие нюансы нужно учесть чтобы финальный ответ был максимально правильным. На самом деле, более старые модели тоже так умеют, но только если их об этом специально попросить. Для этого используется специальный подход в формировании промпта, называемый chain-of-thought (CoT) или “Let’s think step by step”. Reasoning модели сразу обучены начинать свои ответы с CoT, для этого они сначала формируют цепочку рассуждений, обернутую в тег <think>. И нет, в данном случае речь вообще не идет о какой-то новой архитектуре моделей. Внутри они устроены абсолютно точно так же, только обучены иначе.

Что под капотом?

Оригинальная модель DeepSeek R1 имеет впечатляющие 671 млрд параметров, но поскольку она построена по архитектуре Mixture-of-Experts (MoE), при генерации каждого нового токена активируется только 37 млрд параметров. Кроме того, в модели использованы такие инновационные подходы как Multi-Token Prediction (MTP), позволяющие ей работать весьма быстро. И, в отличие от ClosedAI OpenAI, веса оригинальной модели доступны в OpenSource. Но как же воспользоваться моделью, только для запуска которой с квантизацией Q4_K_M требуется 404 гигабайта видеопамяти или кластер минимум из 20 видеокарт Nvidia RTX 4090?

Distilled модели R1

Чтобы решить проблему гигантских системных требований для тех, кто хочет использовать модель у себя для исследований или решения бизнес задач, DeepSeek сделали несколько моделек с приемлемым числом весов. Причем, они просто взяли оригинальные модели qwen2.5 и ollama3 и дообучили их думать как большая DeepSeek R1, используя ее в качестве учителя: с помощью большой R1 были созданы обучающие датасеты, показывающие как надо правильно “думать”, а затем на этих датасетах были дообучены небольшие модели. И оказалось, что qwen2.5:7b, llama3.1:8b, qwen2.5:14b, qwen2.5:32b и llama3.3:70b могут быть гораздо умнее, чем как они были обучены их создателями. А главное, что теперь серьезный ИИ не требует заоблачных вложений. Минимальную модель из семейства R1 можно запустить на одной видеокарте с 12 гб памяти. А ведь это уже совсем другая история!

Устанавливаем ollama

Если у вас в компьютере есть видеокарта с 12+ гб памяти, вы вполне можете запустить DeepSeek R1 прямо у себя. Для этого нужно установить Ollama. Ollama подерживает Windows, Linux и MacOS, так что может быть установлена практически на любой компьютер, ноутбук или сервер, главное чтобы железо соответствовало аппаратным требованиям.

После установки нужно скачать к себе на компьютер одну из моделей DeepSeek R1, воспользовавшись инструкциями по ссылке. И если у вас всё получилось, то теперь давайте попробуем с этой моделью пообщаться.

Вариант 1: плагин в браузере

Наиболее простой вариант взаимодействия с запущенными в Ollama моделями через окно чата - это установка плагина в браузере. Мы рекомендуем Page Assist, которым сами активно пользуемся. Доступны варианты для всех chrome-based браузеров, а так же для Firefox.

И, вуаля:

Как мы видим, про фильм Брат-2 DeepSeek R1 не в курсе. Но это и не особо важно в нашем случае.

Вариант 2: OpenAI api в python

Да, вам не показалось. Действительно, локальные LLM модели в Ollama можно использовать как замену ChatGPT с тем же самым кодом и огромным количеством сторонних библиотек, которые разработало мировое сообщество. Таких как langchain, langgraph, burr и так далее. В отличие от работы с OpenAI, код потребует лишь небольшой модификации. Для начала, нам необходимо установить в ваше окружение python библиотеку OpenAI. Делается это совершенно очевидным образом: pip install -U openai. Теперь создадим экземпляр клиента, подключенного к нашей локальной Ollama:

import openai

llm_client = openai.OpenAI(base_url='http://localhost:11434/v1', api_key='ollama')

параметр api_key не обязателен и его, как и в случае работы с OpenAI API, можно указать через ENV-переменную. Код для генерации выглядит совершенно аналогично openai’шному, за тем исключением того, что имя модели мы указываем такое, какое оно у вас в Ollama:

response = llm_client.chat.completions.create(
    model="deepseek-r1:8b",
    messages=[{"role": "user", "content": "В чем сила DeepSeek?"}],
)
print(response.choices[0].message.content)

Единственный нюанс, на момент написания этой статьи (конец января 2025) distilled модели R1 не поддерживают функцию tool calling. Причем, сама оригинальная модель это умеет и distilled модели вообще-то тоже. Чтобы обойти это ограничение мы рекомендуем воспользоваться вариантами моделей R1 от MFDoom. Веса у них те же самые, а вот шаблоны отличаются. В итоге, получается абсолютная альтернатива o1, запущенная на вашем ПК, причем совершенно бесплатно. Такой вот wake up call.

А если у меня нет видеокарты?

Тогда вы можете арендовать у нас VDS с топовыми серверными видеокартами от Nvidia с почасовой оплатой.