lytdybr
Переписал уже неожиданно много -- 20% "Системной инженерии", результат показывается методсовету "в прямом эфире". Как обычно, вся эта переписка занимает много больше времени, чем запланировано. Но результат меня радует, из текста уже вычищено много антиквариата -- в том числе "непрерывную инженерию" (от всех этих CI/CD, там ведь continuos everything) меняю на "эволюционную инженерию", и сразу становится проще и понятней. Если, конечно, понимаешь про эволюцию. Но зато про эволюцию в биологии и в инженерии надо понимать один раз, все эти "динамические ландшафты приспособленности" (dynamic fitness landscapes), эта тема вполне себе уже пробила путь в инженерию и менеджмент (даже по-русски, например, https://econ.wikireading.ru/2362). Много всего разного обсуждаем в методсовете. Если говорить неполиткорректным, тьфу, немаркетингово корректным языком, то я бы сказал, что наши курсы добавляют людям мозги. Более того, чем больше мозгов на входе, тем большее число мозгов удаётся добавить. Это как ТРИЗ: хорошим инженерам он помогает, а плохим нет. Вот и у нас что-то подобное. Но добавка мозга трудна, примерно год по паре часов надо эти самые входные мозги напрягать, а не расслаблять, как при просмотре сериалов или выпусков стендапа. И результат мозговой работы предъявлять -- это не многим нравится. Любое (любое-любое, да) рассуждение по любым правилам сегодня маркируется "душнила" — и это вроде как культурно поддержано. Ничего умного говорить публично вроде как и нельзя, это же "грузить". Много разного сленга на эту тему — а сленг возражений отсутствует. Нельзя сказать, например, "душнила, зато не идиот безмозглый, как ты — ты уже мозг напрягать разучился, тебя даже 2*2 насмерть задушить может, как я погляжу". Мой ход тут — не общаться с идиотами, фильтровать окружение. И не-идиотов миллионы, есть из кого выбрать. Самому лучше бы общаться с теми, кто умнее тебя, а учить тех, у кого это обучение -- ближняя зона развития. Остальных -- не трогать. Телевизора уже нет, ютьюб закрыли, пусть в видеоклипы ВКонтакта тупят, им как раз по уровню, не душно. А мне душно как раз с этими видеоклипами. Другой вопрос, кому мы добавляем мозги. Можно и с детского сада начинать, тут никаких проблем. Или учить школьников, раз в неделю кто-то интересуется, не учим ли мы школьников. Нет, не учим. Я бы заходил с другого конца -- сразу шёл в не-попсовость. Можно ведь наоборот, из сотни докторов наук приготовить десяток академиков. При этом конкуренция и вложение ресурсов для миллиона человек из детского сада гигантские, равно как практически незаметен для цивилизации результат вложения этих ресурсов. А десяток академиков что-то могут сделать заметное, недаром же они академики! Была тут "Лига Школ" у Сергея Бебчука (лига — это он считал, что каждый препод имеет свою школу, а его школа — это лига преподских школ), так он ставил задачу просто: "поглядим, сколько человек из наших выпускников попадёт в энциклопедию". Уже достаточно много времени прошло, можно было бы проверить, что там получилось в этом плане. Это средняя школа у него такая была, не вуз, но отбор там был жесточайший. Вот я бы хотел побольше людей подготовить, которые попали бы в энциклопедии. Скажем, миллион человек, почему бы и нет. Для этого надо на входе иметь миллион человек, если мы качественно учим (десять миллионов, если не очень качественно), а отбирать можно вот прямо изо всего человечества. Даже если брать людей с PhD, то это 2% от населения развитых стран — https://academiainsider.com/how-many-people-have-phds/. Это огромное число людей. Если я хочу влиять на мир, есть оптимум, с которого надо начинать работать — если понимать, что ты можешь образовывать уже образованных, то этим и надо заниматься. AI-блогеры из обозревателей "разработки AI" стали тупо усилителями пресс-службы OpenAI -- не надо много лет заниматься разработкой систем AI, чтобы живописать фичи очередных версий пользовательских продуктов. Впрочем, я это уже говорил -- но потихоньку перешёл к действиям, ищу новых блогеров, где можно что-то прочитать про происходящее "под капотом" (вот, например, "LLM под капотом", так и называется -- https://t.me/llm_under_hood, там по счастью не пишут "вау! оператор! вы этого ещё не слышали от ваших кофейников и холодильников! вам это ещё не завирусилось!", там пишут про "аккуратное построению reasoning систем из небольших тестируемымых логических блоков с LLM под капотом"). Я бы живописал многоуровневую эволюцию систем AI, показывая эволюцию на каждом уровне. Где взять уровни? Ну, у меня в курсе "Методология" есть картинка (https://aisystant.system-school.ru/lk/#/course/methodology/2024-11-27T2259/51563) с уровнями, но тут самое интересное, конечно -- это ломка самой картинки. Следы этой ломки вполне заметны:-- абсолютно голословное заявление LeCun про приход новой архитектуры (тут это -- функциональная организация, но в том числе отсюда следует и "форма следует за функцией", то есть конструктивные изменения) AI в течение 5 лет. Ну, и приход робототехники -- не LLM то
Переписал уже неожиданно много -- 20% "Системной инженерии", результат показывается методсовету "в прямом эфире". Как обычно, вся эта переписка занимает много больше времени, чем запланировано. Но результат меня радует, из текста уже вычищено много антиквариата -- в том числе "непрерывную инженерию" (от всех этих CI/CD, там ведь continuos everything) меняю на "эволюционную инженерию", и сразу становится проще и понятней. Если, конечно, понимаешь про эволюцию. Но зато про эволюцию в биологии и в инженерии надо понимать один раз, все эти "динамические ландшафты приспособленности" (dynamic fitness landscapes), эта тема вполне себе уже пробила путь в инженерию и менеджмент (даже по-русски, например, https://econ.wikireading.ru/2362).
Много всего разного обсуждаем в методсовете. Если говорить неполиткорректным, тьфу, немаркетингово корректным языком, то я бы сказал, что наши курсы добавляют людям мозги. Более того, чем больше мозгов на входе, тем большее число мозгов удаётся добавить. Это как ТРИЗ: хорошим инженерам он помогает, а плохим нет. Вот и у нас что-то подобное. Но добавка мозга трудна, примерно год по паре часов надо эти самые входные мозги напрягать, а не расслаблять, как при просмотре сериалов или выпусков стендапа. И результат мозговой работы предъявлять -- это не многим нравится. Любое (любое-любое, да) рассуждение по любым правилам сегодня маркируется "душнила" — и это вроде как культурно поддержано. Ничего умного говорить публично вроде как и нельзя, это же "грузить". Много разного сленга на эту тему — а сленг возражений отсутствует. Нельзя сказать, например, "душнила, зато не идиот безмозглый, как ты — ты уже мозг напрягать разучился, тебя даже 2*2 насмерть задушить может, как я погляжу". Мой ход тут — не общаться с идиотами, фильтровать окружение. И не-идиотов миллионы, есть из кого выбрать. Самому лучше бы общаться с теми, кто умнее тебя, а учить тех, у кого это обучение -- ближняя зона развития. Остальных -- не трогать. Телевизора уже нет, ютьюб закрыли, пусть в видеоклипы ВКонтакта тупят, им как раз по уровню, не душно. А мне душно как раз с этими видеоклипами.
Другой вопрос, кому мы добавляем мозги. Можно и с детского сада начинать, тут никаких проблем. Или учить школьников, раз в неделю кто-то интересуется, не учим ли мы школьников. Нет, не учим. Я бы заходил с другого конца -- сразу шёл в не-попсовость. Можно ведь наоборот, из сотни докторов наук приготовить десяток академиков. При этом конкуренция и вложение ресурсов для миллиона человек из детского сада гигантские, равно как практически незаметен для цивилизации результат вложения этих ресурсов. А десяток академиков что-то могут сделать заметное, недаром же они академики! Была тут "Лига Школ" у Сергея Бебчука (лига — это он считал, что каждый препод имеет свою школу, а его школа — это лига преподских школ), так он ставил задачу просто: "поглядим, сколько человек из наших выпускников попадёт в энциклопедию". Уже достаточно много времени прошло, можно было бы проверить, что там получилось в этом плане. Это средняя школа у него такая была, не вуз, но отбор там был жесточайший. Вот я бы хотел побольше людей подготовить, которые попали бы в энциклопедии. Скажем, миллион человек, почему бы и нет. Для этого надо на входе иметь миллион человек, если мы качественно учим (десять миллионов, если не очень качественно), а отбирать можно вот прямо изо всего человечества. Даже если брать людей с PhD, то это 2% от населения развитых стран — https://academiainsider.com/how-many-people-have-phds/. Это огромное число людей. Если я хочу влиять на мир, есть оптимум, с которого надо начинать работать — если понимать, что ты можешь образовывать уже образованных, то этим и надо заниматься.
AI-блогеры из обозревателей "разработки AI" стали тупо усилителями пресс-службы OpenAI -- не надо много лет заниматься разработкой систем AI, чтобы живописать фичи очередных версий пользовательских продуктов. Впрочем, я это уже говорил -- но потихоньку перешёл к действиям, ищу новых блогеров, где можно что-то прочитать про происходящее "под капотом" (вот, например, "LLM под капотом", так и называется -- https://t.me/llm_under_hood, там по счастью не пишут "вау! оператор! вы этого ещё не слышали от ваших кофейников и холодильников! вам это ещё не завирусилось!", там пишут про "аккуратное построению reasoning систем из небольших тестируемымых логических блоков с LLM под капотом"). Я бы живописал многоуровневую эволюцию систем AI, показывая эволюцию на каждом уровне. Где взять уровни? Ну, у меня в курсе "Методология" есть картинка (https://aisystant.system-school.ru/lk/#/course/methodology/2024-11-27T2259/51563) с уровнями, но тут самое интересное, конечно -- это ломка самой картинки. Следы этой ломки вполне заметны:
-- абсолютно голословное заявление LeCun про приход новой архитектуры (тут это -- функциональная организация, но в том числе отсюда следует и "форма следует за функцией", то есть конструктивные изменения) AI в течение 5 лет. Ну, и приход робототехники -- не LLM только жив человек, парадокс Моравека вроде как более-менее успешно решается. Вот: https://techcrunch.com/2025/01/23/metas-yann-lecun-predicts-a-new-ai-architectures-paradigm-within-5-years-and-decade-of-robotics/. Хотя сам LeCun тут в деле, вот месячной давности его новости по JEPA: https://arxiv.org/abs/2412.10925, там поднимается опять старинный термин representations learning, заголовок там "Video Representation Learning with Joint-Embedding Predictive Architectures", сравнивается с порождающими архитектурами (теми же трансформерами). Ключевая разница -- познанные (learned) в ходе исследований (познания-без-учителя) представления видео, что ведёт к пониманию сложных видео при уменьшенном вычислительном бюджете. Это всё про компьютерное зрение для роботов. Я тут попытался делать работу "перевода на понятный" терминологии ML, ибо эта терминология тащится там с доисторических времён, термины эти обрастают разными модификаторами и понимания окончательно теряется. Вот руки чешутся все эти "ренормализованные нейроны" и "скрытые представления" на внятном языке рассказать, а не на птичьем.
-- в этом же направлении R1, ибо там "за копейки победили гигантов", https://venturebeat.com/ai/why-everyone-in-ai-is-freaking-out-about-deepseek/. Причём это не "все китайцы обгонят американцев", там другой феномен -- это pet-проект утилизации свободных GPU в компании-трейдере, https://x.com/hxiao/status/1882649545982849031. "Всё новое приходит сбоку", ага -- и все на ушах.
-- Francois Chollet покинул Гугл (https://developers.googleblog.com/en/farewell-and-thank-you-for-the-continued-partnership-francois-chollet/) и пошёл в https://ndea.com/, где надеется на прорыв в синтезе программ эволюционными алгоритмами, которые направляются глубоким обучением -- ибо уже достаточно компьюта, старые алгоритмы на крупном компьюте вполне могут показать себя по-новому. Особенно, если к ним добавить глубокое обучение. Compared to deep learning, program synthesis is a much less mature research field. The state of program synthesis in 2025 looks a lot like deep learning circa 2012. But we are not alone in recognizing the potential of program synthesis — it's a technique every frontier AI lab is now starting to explore. Most, however, believe it's only a small component of what's needed for AGI. We believe program synthesis and deep learning are equally important. We're starting Ndea — an AI research and science lab. The name - like 'idea' with an 'n' - is inspired by the Greek concepts ennoia (intuitive understanding) and dianoia (logical reasoning), capturing our first goal to merge deep learning with program synthesis. Ndea is entirely focused on developing and operationalizing AGI to realize unprecedented scientific progress in our lifetime for the benefit of all current and future generations. Building AGI alone is a monumental undertaking, but our mission is even bigger. We're creating a factory for rapid scientific advancement — a factory capable of inventing and commercializing N ideas.
-- Тем временем, на прикладном фронте тоже идут подвижки. Вот "AutoCBT: An Autonomous Multi-agent Framework for Cognitive Behavioral Therapy in Psychological Counseling", https://arxiv.org/abs/2501.09426. Понятно, что тут модно двигается SoTA (бенчмаркинг не на живых пациентах, а на проф. психологах, оценивающих ответы). И тут забавная деталь: Llama оказывается хуже Qwen -- During a psychological counseling simulation, the Llama model refuses to answer nine questions from the English portion of the dataset related to minors, sex, and suicide, a behavior also observed in both AutoCBT and baselines. In contrast, the Qwen model answers all questions of the bilingual dataset. After excluding the nine questions that Llama refuses to answer, we analyze AutoCBT’s effectiveness using the Llama model on the remaining 91 questions. Qwen performs signifcantly better. In baseline scenarios, Llama consistently refuses to answer sensitive questions, fails to recognize the user’s need for psychological support, and signifcantly harms the user experience. When deploying online psychological counseling services, Llama’s excessive caution can cause users seeking help to feel misunderstood, potentially worsening cognitive distortions. Благими намерениями вымощена дорога в ад. Это они ещё не общались с ГигаЧатом, я проверял лично -- там на половину вопросов нет ответа, "смените тему, на эту тему не буду разговаривать" ("что у меня чешется в носу?" -- "это медицинский вопрос, не намерен отвечать", "как приготовить свинину в апельсинах" -- "подозреваю, что тут чьё-то оскорбление, такие темы запрещены", и так бесконечно).
Будильником я не пользуюсь, просыпаюсь без будильника и на поезд, и на самолёт, и на рабочие встречи, уже десятки лет. Но когда пользовался, то самый навороченный агрегат был как на картинке: будильник запускает крыльчатку, которая летает по комнате в разных направлениях, потом где-то падает. Надо встать, найти улетевшую крыльчатку и засунуть назад в будильник, всё это время будильник орёт благим матом так, что мёртвого поднимает.
Много всего разного обсуждаем в методсовете. Если говорить неполиткорректным, тьфу, немаркетингово корректным языком, то я бы сказал, что наши курсы добавляют людям мозги. Более того, чем больше мозгов на входе, тем большее число мозгов удаётся добавить. Это как ТРИЗ: хорошим инженерам он помогает, а плохим нет. Вот и у нас что-то подобное. Но добавка мозга трудна, примерно год по паре часов надо эти самые входные мозги напрягать, а не расслаблять, как при просмотре сериалов или выпусков стендапа. И результат мозговой работы предъявлять -- это не многим нравится. Любое (любое-любое, да) рассуждение по любым правилам сегодня маркируется "душнила" — и это вроде как культурно поддержано. Ничего умного говорить публично вроде как и нельзя, это же "грузить". Много разного сленга на эту тему — а сленг возражений отсутствует. Нельзя сказать, например, "душнила, зато не идиот безмозглый, как ты — ты уже мозг напрягать разучился, тебя даже 2*2 насмерть задушить может, как я погляжу". Мой ход тут — не общаться с идиотами, фильтровать окружение. И не-идиотов миллионы, есть из кого выбрать. Самому лучше бы общаться с теми, кто умнее тебя, а учить тех, у кого это обучение -- ближняя зона развития. Остальных -- не трогать. Телевизора уже нет, ютьюб закрыли, пусть в видеоклипы ВКонтакта тупят, им как раз по уровню, не душно. А мне душно как раз с этими видеоклипами.
Другой вопрос, кому мы добавляем мозги. Можно и с детского сада начинать, тут никаких проблем. Или учить школьников, раз в неделю кто-то интересуется, не учим ли мы школьников. Нет, не учим. Я бы заходил с другого конца -- сразу шёл в не-попсовость. Можно ведь наоборот, из сотни докторов наук приготовить десяток академиков. При этом конкуренция и вложение ресурсов для миллиона человек из детского сада гигантские, равно как практически незаметен для цивилизации результат вложения этих ресурсов. А десяток академиков что-то могут сделать заметное, недаром же они академики! Была тут "Лига Школ" у Сергея Бебчука (лига — это он считал, что каждый препод имеет свою школу, а его школа — это лига преподских школ), так он ставил задачу просто: "поглядим, сколько человек из наших выпускников попадёт в энциклопедию". Уже достаточно много времени прошло, можно было бы проверить, что там получилось в этом плане. Это средняя школа у него такая была, не вуз, но отбор там был жесточайший. Вот я бы хотел побольше людей подготовить, которые попали бы в энциклопедии. Скажем, миллион человек, почему бы и нет. Для этого надо на входе иметь миллион человек, если мы качественно учим (десять миллионов, если не очень качественно), а отбирать можно вот прямо изо всего человечества. Даже если брать людей с PhD, то это 2% от населения развитых стран — https://academiainsider.com/how-many-people-have-phds/. Это огромное число людей. Если я хочу влиять на мир, есть оптимум, с которого надо начинать работать — если понимать, что ты можешь образовывать уже образованных, то этим и надо заниматься.
AI-блогеры из обозревателей "разработки AI" стали тупо усилителями пресс-службы OpenAI -- не надо много лет заниматься разработкой систем AI, чтобы живописать фичи очередных версий пользовательских продуктов. Впрочем, я это уже говорил -- но потихоньку перешёл к действиям, ищу новых блогеров, где можно что-то прочитать про происходящее "под капотом" (вот, например, "LLM под капотом", так и называется -- https://t.me/llm_under_hood, там по счастью не пишут "вау! оператор! вы этого ещё не слышали от ваших кофейников и холодильников! вам это ещё не завирусилось!", там пишут про "аккуратное построению reasoning систем из небольших тестируемымых логических блоков с LLM под капотом"). Я бы живописал многоуровневую эволюцию систем AI, показывая эволюцию на каждом уровне. Где взять уровни? Ну, у меня в курсе "Методология" есть картинка (https://aisystant.system-school.ru/lk/#/course/methodology/2024-11-27T2259/51563) с уровнями, но тут самое интересное, конечно -- это ломка самой картинки. Следы этой ломки вполне заметны:
-- абсолютно голословное заявление LeCun про приход новой архитектуры (тут это -- функциональная организация, но в том числе отсюда следует и "форма следует за функцией", то есть конструктивные изменения) AI в течение 5 лет. Ну, и приход робототехники -- не LLM только жив человек, парадокс Моравека вроде как более-менее успешно решается. Вот: https://techcrunch.com/2025/01/23/metas-yann-lecun-predicts-a-new-ai-architectures-paradigm-within-5-years-and-decade-of-robotics/. Хотя сам LeCun тут в деле, вот месячной давности его новости по JEPA: https://arxiv.org/abs/2412.10925, там поднимается опять старинный термин representations learning, заголовок там "Video Representation Learning with Joint-Embedding Predictive Architectures", сравнивается с порождающими архитектурами (теми же трансформерами). Ключевая разница -- познанные (learned) в ходе исследований (познания-без-учителя) представления видео, что ведёт к пониманию сложных видео при уменьшенном вычислительном бюджете. Это всё про компьютерное зрение для роботов. Я тут попытался делать работу "перевода на понятный" терминологии ML, ибо эта терминология тащится там с доисторических времён, термины эти обрастают разными модификаторами и понимания окончательно теряется. Вот руки чешутся все эти "ренормализованные нейроны" и "скрытые представления" на внятном языке рассказать, а не на птичьем.
-- в этом же направлении R1, ибо там "за копейки победили гигантов", https://venturebeat.com/ai/why-everyone-in-ai-is-freaking-out-about-deepseek/. Причём это не "все китайцы обгонят американцев", там другой феномен -- это pet-проект утилизации свободных GPU в компании-трейдере, https://x.com/hxiao/status/1882649545982849031. "Всё новое приходит сбоку", ага -- и все на ушах.
-- Francois Chollet покинул Гугл (https://developers.googleblog.com/en/farewell-and-thank-you-for-the-continued-partnership-francois-chollet/) и пошёл в https://ndea.com/, где надеется на прорыв в синтезе программ эволюционными алгоритмами, которые направляются глубоким обучением -- ибо уже достаточно компьюта, старые алгоритмы на крупном компьюте вполне могут показать себя по-новому. Особенно, если к ним добавить глубокое обучение. Compared to deep learning, program synthesis is a much less mature research field. The state of program synthesis in 2025 looks a lot like deep learning circa 2012. But we are not alone in recognizing the potential of program synthesis — it's a technique every frontier AI lab is now starting to explore. Most, however, believe it's only a small component of what's needed for AGI. We believe program synthesis and deep learning are equally important. We're starting Ndea — an AI research and science lab. The name - like 'idea' with an 'n' - is inspired by the Greek concepts ennoia (intuitive understanding) and dianoia (logical reasoning), capturing our first goal to merge deep learning with program synthesis. Ndea is entirely focused on developing and operationalizing AGI to realize unprecedented scientific progress in our lifetime for the benefit of all current and future generations. Building AGI alone is a monumental undertaking, but our mission is even bigger. We're creating a factory for rapid scientific advancement — a factory capable of inventing and commercializing N ideas.
-- Тем временем, на прикладном фронте тоже идут подвижки. Вот "AutoCBT: An Autonomous Multi-agent Framework for Cognitive Behavioral Therapy in Psychological Counseling", https://arxiv.org/abs/2501.09426. Понятно, что тут модно двигается SoTA (бенчмаркинг не на живых пациентах, а на проф. психологах, оценивающих ответы). И тут забавная деталь: Llama оказывается хуже Qwen -- During a psychological counseling simulation, the Llama model refuses to answer nine questions from the English portion of the dataset related to minors, sex, and suicide, a behavior also observed in both AutoCBT and baselines. In contrast, the Qwen model answers all questions of the bilingual dataset. After excluding the nine questions that Llama refuses to answer, we analyze AutoCBT’s effectiveness using the Llama model on the remaining 91 questions. Qwen performs signifcantly better. In baseline scenarios, Llama consistently refuses to answer sensitive questions, fails to recognize the user’s need for psychological support, and signifcantly harms the user experience. When deploying online psychological counseling services, Llama’s excessive caution can cause users seeking help to feel misunderstood, potentially worsening cognitive distortions. Благими намерениями вымощена дорога в ад. Это они ещё не общались с ГигаЧатом, я проверял лично -- там на половину вопросов нет ответа, "смените тему, на эту тему не буду разговаривать" ("что у меня чешется в носу?" -- "это медицинский вопрос, не намерен отвечать", "как приготовить свинину в апельсинах" -- "подозреваю, что тут чьё-то оскорбление, такие темы запрещены", и так бесконечно).
Будильником я не пользуюсь, просыпаюсь без будильника и на поезд, и на самолёт, и на рабочие встречи, уже десятки лет. Но когда пользовался, то самый навороченный агрегат был как на картинке: будильник запускает крыльчатку, которая летает по комнате в разных направлениях, потом где-то падает. Надо встать, найти улетевшую крыльчатку и засунуть назад в будильник, всё это время будильник орёт благим матом так, что мёртвого поднимает.
