LLM под капотом: выбираем эффективные технические решения для AI-ассистентов
Год выпуска: 2024
Сайт производителя:
https://abdullin.com/ai-assistants-course
Автор: Ринат Абдуллин
Продолжительность: 04:05:28
Тип раздаваемого материала: Видеоурок
Язык: Русский
Субтитры: Отсутствуют
Описание:
О чем этот курс
Этот курс о том, как обоснованно выбирать эффективно реализуемые технические решения продуктовых задач на базе LLM в различных доменных областях.
Я покажу вам набор инструментов, практических кейсов и паттернов, применяя которые, вы сможете:
- выбирать оптимальные решения для широкого круга задач, основанных на LLM
- адаптировать эти решения под специфику своей доменной области.
Мы будем учиться проектировать решения для продуктов с LLM под капотом экономя время, деньги и силы.
Для кого?
Этот курс для тех, кто уже разрабатывает продукты с LLM самостоятельно или в составе команды. Он будет полезен:
- Инженерам — получите четкий подход к проектированию LLM-решений и узнаете, как быстро устранять типичные технические проблемы.
- Техлидам / CTO — увидите проверенные паттерны и практики для построения решений с LLM под капотом, оценки рисков при масштабировании.
- Продактам — наберетесь насмотренности AI кейсов, научитесь говорить с инженерами на одном языке и точнее формулировать бизнес-требования.
- Фаундерам — разберетесь в ключевых паттернах, избежите критических ошибок на MVP-этапе и сможете грамотно масштабировать AI-driven решения.
Непосредственно опыт программирования для курса не обязателен.
В целом, курс будет полезен вам, если вы сами или в составе команды уже пробовали строить или внедрять решения на базе LLM, и у вас появились вопросы.
Кому курс не подойдет?
- Тем, кто только начинает работать с LLM и не имеет опыта построения собственных решений
- Тем, кого интересует построение ассистентов исключительно на локальных моделях
Курс не учит использовать фреймворки, подключаться к LLM или индексировать документы.
Структура курса:
Модуль 1: Основы
Здесь мы рассмотрим типичные подходы по внедрению LLM и увидим их ограничения на примере решения одной распространенной задачи. Мы пройдемся по ментальным моделям и эвристикам выявления причин подобных ограничения и их устранения. Это те знания, которые в прошлом году сэкономили бы мне 2-3 месяца работы.
Программа 1 модуля:
- Описание структуры курса
- Путь к галлюцинациям - воспроизводим проблему RAG-ов на годовых отчетах компаний
- Как по годовым отчетам компаний отвечают лучшие RAG-и?
- Минимальное воспроизведение проблемы в один промпт
- LogProbs - инструментарий анализа галлюцинаций
- Паттерны галлюцинаций LLM
- Первопричины проблем в RAG-ах
- Как избежать тупика?
- Приходим к простому решению
Модуль 2: Кейсы и паттерны
Мы разберем повторяющиеся архитектурные паттерны из кейсов успешных внедрений проектов c AI.
- Prompt и Query Expansion
- Prompt 2
- Knowledge Base
- Learn from Feedback
- Searching for data
- Sandbox и практические задания
- Router - когда нужна специализация
- Instruction Distillation
- Dedicated Agents
- Workflow
- Human in the Loop
- Structured Data Extraction и визуализация ошибок
- REPL (Self-review)
- Checklists и Prompt Caching
- Structured Outputs & Custom CoT - Deep Dive
Для всех паттернов мы рассмотрим особенности применения и примеры кейсов проектов. Я покажу, как классифицировать и обобщать задачи, чтобы продуктивнее их решать. Таким образом можно будет сэкономить время в будущих проектах - мы будем осознанно переиспользовать работающий опыт других, а не придумывать с нуля.
Видео: avc, 1280x720, 16:9, 30000к/с, 190 кб/с
Аудио: aac, 48.0кгц, 128 кб/с, 2 аудио
MediaInfo
General
Complete name : D:\5. Udemy Courses\LLM под капотом выбираем эффективные технические решения для AI-ассистентов\M01E01_Starting.mp4
Format : MPEG-4
Format profile : Base Media
Codec ID : isom (isom/iso2/avc1/mp41)
File size : 15.2 MiB
Duration : 6 min 30 s
Overall bit rate : 326 kb/s
Frame rate : 30.000 FPS
Writing application : Lavf60.16.100
Video
ID : 1
Format : AVC
Format/Info : Advanced Video Codec
Format profile : High@L3.1
Format settings : CABAC / 4 Ref Frames
Format settings, CABAC : Yes
Format settings, Reference frames : 4 frames
Codec ID : avc1
Codec ID/Info : Advanced Video Coding
Duration : 6 min 30 s
Bit rate : 190 kb/s
Width : 1 280 pixels
Height : 720 pixels
Display aspect ratio : 16:9
Frame rate mode : Constant
Frame rate : 30.000 FPS
Color space : YUV
Chroma subsampling : 4:2:0
Bit depth : 8 bits
Scan type : Progressive
Bits/(Pixel*Frame) : 0.007
Stream size : 8.83 MiB (58%)
Writing library : x264 core 164
Encoding settings : cabac=1 / ref=3 / deblock=1:0:0 / analyse=0x3:0x113 / me=hex / subme=7 / psy=1 / psy_rd=1.00:0.00 / mixed_ref=1 / me_range=16 / chroma_me=1 / trellis=1 / 8x8dct=1 / cqm=0 / deadzone=21,11 / fast_pskip=1 / chroma_qp_offset=-2 / threads=22 / lookahead_threads=3 / sliced_threads=0 / nr=0 / decimate=1 / interlaced=0 / bluray_compat=0 / constrained_intra=0 / bframes=3 / b_pyramid=2 / b_adapt=1 / b_bias=0 / direct=1 / weightb=1 / open_gop=0 / weightp=2 / keyint=250 / keyint_min=25 / scenecut=40 / intra_refresh=0 / rc_lookahead=40 / rc=crf / mbtree=1 / crf=23.0 / qcomp=0.60 / qpmin=0 / qpmax=69 / qpstep=4 / ip_ratio=1.40 / aq=1:1.00
Codec configuration box : avcC
Audio
ID : 2
Format : AAC LC
Format/Info : Advanced Audio Codec Low Complexity
Codec ID : mp4a-40-2
Duration : 6 min 30 s
Source duration : 6 min 30 s
Bit rate mode : Constant
Bit rate : 128 kb/s
Channel(s) : 2 channels
Channel layout : L R
Sampling rate : 48.0 kHz
Frame rate : 46.875 FPS (1024 SPF)
Compression mode : Lossy
Stream size : 5.96 MiB (39%)
Source stream size : 5.96 MiB (39%)
Default : Yes
Alternate group : 1
