Fatal Defect & Computer Related Risks

Читаю сейчас книги Fatal Defect и Computer Related Risks. Сначала планировал по отдельности, но придется читать вместе.

Эти книги рассказывают о том, как далеки от совершенства любые компьютеры и о том, к каким последствиям могут приводить различные программные и аппаратные ошибки. Компьютеры глубже проникают в нашу жизнь — они находятся в микроволновках и пылесосах, в автомобилях и самолетах, управляют биржами и опасным химическим производством, роботами и военными системами, выполняя при этом ключевые функции — и постепенно последствия дефектов становятся все более ощутимыми, разрушения более стремительными и масштабными. Цена ошибки возрастает и этому вопросу требуется уделять больше внимания.

Книги написаны в одно время и на одну тему, и, более того, основаны на очень похожем материале. Однако внутри имеют разные приближения к одной и той же проблематике. Computer Related Risks — весьма научная, где изложено все по полочкам и темам, по большей части сухая статистическая информация и тематический и факторный анализ. Fatal Defect — напротив, это книга для рядового читателя, где рассказывается множество различных случаев и историй, а сама книга читается как детектив и является хорошим кандидатом на то, чтобы вдохновить людей в или на данную область (Safety-Critical Systems).

Источники для книг основаны в первую очередь на Computer Risks Forum — это онлайновый ресурс, действующий с 1985 года. Его назначение — оповещение и обсуждение любых проблем, связанных с компьютерными рисками, но в первую очередь фокус ставится на больших системах автоматизации процессов, на системах, проблемы в которых могут приводить к большим экономическим потерям и угрожать здоровью и жизни людей. C самого начала существования форума его модератором является активист Peter G. Neumann (Harvard ph.D., длительное время работал в Bell Labs и ACM), занимающийся им в свое свободное время, — он же автор второй книги на моей картинке.

Необходимость такого ресурса обусловлена несколькими причинами. Прежде всего ресурс предоставляет информацию о том, что скрыто от посторонних лиц в отношении компьютерных систем. Ни один банк не хочет обсуждать публично то, что происходит в его автоматизированных системах, какие ошибки имеют место, и тем более не публикует свое внутреннее программное обеспечение. И легко понять, почему так происходит — люди не хотят, чтобы их ошибки стали достоянием общественности, так как юристы всегда готовы подать иск в суд, конкуренты спешат оклеветать и получить выгоду, а сотрудники национальной безопасности стоят на страже государственной тайны. Считанные программисты рискуют потерять свою работу для того, чтобы высказать публично о том, что имеющиеся системы вполне вероятно могут привести к неблагоприятным и фатальным последствиям в широком масштабе. Однако, такое состояние приводит к тому, что человечеству намного сложнее учиться на своих ошибках, когда причины и хронология катастрофичных событий умалчиваются.

Форум представляет собой место, где информация о дефектах в аппаратно-программных комплексах собирается с различных источников, высказывается и обсуждается. Кроме того, любой может анонимно прислать что-либо, и это станет предметом обсуждения и достоянием общественности. Компьютерные системы нельзя полностью лишить дефектов, но с помощью обратной связи можно улучшить и ускорить процесс учета ошибок прошлого и делать новые системы лучше.

Сейчас две цитаты из книг об одном и том же событии для того, чтобы можно было понять, в каком ключе и как построена каждая из книг и о чем они вообще (перевод мой). В первой из книг кроме самой информации есть множество анализа влияния различных факторов, ошибок в зависимости от предметной области и способов преодоления проблем.

French Air Inter Airbus A320 crash

A French Air Inter Airbus A320 crashed into Mont Sainte-Odile (at 2496 feet) on automatic landing approach to the Strasbourg airport on a flight from Lyon on January 20, 1992. There were 87 people killed and 9 survivors. A combination of human factors (the integration of the controller and the humanmachine interface, and lack of pilot experience with the flightdeck equipment), technical factors (including altimeter failings), and somewhat marginal weather (subfreezing temperature and fog) was blamed. There was no warning alarm (RISKS 13, 05; SEN17, 2; 18, 1, 23; 19, 2, 11).

Крушение французского аэробуса A320 компании Inter Airline

Аэробус A320 французских авиалиний компании Inter Airline потерпел крушение в Mont Sainte-Odile (на высоте 2496 футов) при автоматической посадке в аэропорте Strasbourg во время рейса из Lyon'a 20 января 1992 года. Погибло 87 пассажиров и спаслось 9. Сочетание человеческого (интеграция контроллера и человеко-машинного интерфейса, недостаточный опыт пилотов с новым оборудованием самолета), технического (включая ошибку высотомера) и погодного факторов (температура ниже нуля и туман) объявлены причиной катастрофы. При этом во время происшествия не было сигнала тревоги.

Inside Risks

Slumping with age, the rounded, heavily wooded peaks of the Vosges massif in northeastern France bear their long history with stolid fortitude. Castles, monasteries, and ancient fortifications guard the heights; medieval towns and patchworks of vineyards crouch in verdant valleys opening onto the plains of Alsace, adjacent to the Rhine River. In this part of France, summers tend toward the warm and sunny, though winters in the highlands can be markedly snowy and severe.

Near the nothern tip of the Vosges, Mont Sainte-Odile rises to height of nearly 2500 feet above sea level. Pilgrims flock to the cluster of buildings that crown the peak to pay homage to Sainte Odile, who founded a convent on this site in the eighth century. Tourists trek the serpentine road to its summit for the magnificent view. On a clear day, they can glimpse the city of Strasbourg, about thirty-five miles to the northeast, and the Black Forest in neighboring Germany.

On January 20, 1992, a jet airliner plowed into a pine forest in the highlands near Mont Sainte-Odile. Just seven minutes away from the airport serving Strasbourg, the sleek Airbus A320 aircraft should have being flying at an altitude of nine thousand feet and descending slowly. Instead, it was at roughly twenty-four hundred feet when impact occured at 7:45 in the evening. The airliner sent out no distress signal before the crash. It simply broke radio contact and abruptly vanished from radar. The nine passengers who survived the crash reported they had noticed nothing out of the ordinary until the moment of impact.

Eighty-seven people died in the crash. Darkness, freezing temperatures, thick fog, gusty winds, and deep snow hindered rescue efforts. It took more than two hours for a relief party to locate the wreckage and begin ministering to the survivors. By that time, news of the disaster was already spreading throughout the world by way of a vast electronic web of telephone lines, radio links, microwave transmitters, and the rest of the paraphernalia that constitutes our communal nervous system. As details of the crash emerged, radio and television reports, followed by newspaper articles, conveyed to a receptive audience the raw material to feed an age-old, ghoulish fascination with disaster and tragedy.

The next morning in Washington, D.C., James H. Paul, a staff member of the investigation and oversight subcommittee of the U.S.House of Representatives, noticed a report of the crash distributed by the Reuters news agency. The story bore the provocative headline: "Latest Crash Heightens Controversy over Airbus A320".

The A320's notoriety stems from the innovative technology incorporated in the airliner. Built be a consortium of French, German, British, and Spanish firms working together as Airbus Industrie, this narrow-bodied, twin-engine, 150-seat aircraft was the first of a new breed of airliner in which pilots control the airplane entirely through computers.

Paul's interest in the A320 crash arose in part from his role as one of the authors of a 1990 study called Bugs in Program: Problems in Federal Goverment Computer Software Development and Regulation and in part from a concern he shared with others in the computer world about the difficulties of coping with the faults, or bugs, that plague just about any computer system.

Paul activated his computer's link with the Internet, a labytinthine, worldwide network of computer networks and communications lines that can pass messages — electronic mail — from one computer user to another throughout the system. Using the address RISKS@CSL.SRI.COM, he sent out a copy of the Reuters article. giving his message the title: "Another A320 crash in France." Moments later, the missive arrived at a computer at SRI International, a high-technology research center in Menlo Park, California. There it remained stored until Peter G.Neumann, a principal scientist in the computer science laboratory at SRI, found a moment in his busy day to check the accumulated messages, which he fashions into the frequent reports of the Forum on Risks to the Public in Computers and Related Systems. Neumann made Paul's submission the first item in the report he distributed electronically on January 22, two days after the A320 crash.

Though novel in commercial aviation, the use of sophisticated computer systems to operate and keep high-performance jets in the air is essential for several types of military aircraft. The experimental X-29 military jet, with an unconventional, swept-forward wing design that makes it appear to be flying backward, is aerodynamically unstable, and no human pilot can fly it unaided. Only a computer can make adjustments quickly enough to keep the plane in the air. Already in service or being tested, the F-117A Stealth fighter, B-2 Stealth bomber, and F-22 advanced tactical fighter don't even have mechanical systems to act as backups for their computer controls.

The mechanics of steering an airplane and keeping it aloft were much simpler and more direct in the early days of powered flight. When Orville Wright coaxed the Wright Flyer into the air on December 17, 1903, near kitty Hawk, North Carolina, his whole body came into play to control the plane. Lying prone beside the engine on the lower of a pair of cloth-draped wings, with his feet hooked over a spar, Wright used his arms to raise or lower the flying machine's horizontal front rudder to keep the plane at the proper angle. Cradled in a wooden yoke, his hips controlled wires that warped the wing tips for lateral balance. These hip movements also deflected the aircraft's vertical rear rudder to steer the plane.

The same fundamental principles underlie control of today's highly automated aircraft, but the link between a pilot and the consequences of his or her actions has become much less direct. Even with mechanical controls in a large, modern airliner, there's really no direct connection between the pilot's hand and the airplane's behavior. In a fly-by-wire arrangement, when pilot pushes the plane's control stick to either side to turn the plane left or right, electronic sensors send signals to a set of flight-control computers. Instructions in the form of a computer program allow the computers to calculate what adjustments to make to the plane's rudder, flaps, or wing surfaces called ailerons. The computers, in turn, relay commands via an extensive network of electrical wiring to mechanical devices installed in the wings and tail to make the required changes in position of the movable parts. The plane then banks left or right. The pilot feels a comfortable amount of resistance in the control stick, just as if he or she were maneuvering the plane directly, but it's all a sham. A computer adjusts actuators in the stick to create the illusion of direct control.

In the Airbus A320, flight computers go so far as to tell the pilot how to fly the airplane, for example, by restricting how quickly or how far he or she can bank the airplane to the left or right. That's because the engineers who designed the aircraft gave the flight-control computers full authority to operate the airplane and override a pilot's actions when these actions force the plane into a situation that exceeds its capabilities and structural limitations. Faced with a sudden, wind-induced, stomach-churning drop in altitude, a pilot can react instantly by pulling all the way back on the control stick to nose the plane up, fully confident that the flight-control computers will ensure that the plane doesn't lurch into a deadly stall. At least, that's the theory.

Numerous pilots have complained that such delegation of authority to computers restricts their actions in an emergency. The pilots believe that a flight crew should be able to take any action deemed necessary to avoid crashing into a mountain or collinding with another aircraft — even if it means stressing the plane beyond its tolerances or flying it in an unconventional manner. Ironically, the computer-massaged A320 flies so smoothly and quietly under normal circumstances that both passengers and pilots have little sense that they are flying, and that in itself poses a risk of pilot overconfidence or complacency.

Reliance on computers for such critical functions as flight control also worries some computer professionals, whose experiences with a wide variety of computer systems have invariably demonstrated that no computer operates flawlessly all the time. Bev Littlewood, a professor of software engineering at City University in London, England, has long argues that because it's impossible to guarantee a sufficiently high level of reliability, the use of computers may be inappropriate for critical functions in aircraft, medical equipment, nuclear power plants, emergency communications systems, and other situations in which human life can be placed in jeopardy as a result of a computer failure.

Внутренние риски

Утопая со временем, круглые, поросшие густым лесом пики горного массива Вогезы на северо-востоке Франции несут свою давнюю историю флегматичной силы духа. Замки, монастыри и древние укрепления охраняют высоты; средневековые городки и полосы виноградников покрывают зеленые долины, простирающиеся на равнине Эльзаса, прилегающей к реке Рейн. В этой части Франции летом тепло и солнечно, а зимы в горах могут быть ощутимо снежными и суровыми.

Рядом с северной вершиной Вогезы гора Сент-Одиль поднимается на высоту 2500 футов над уровнем моря. Паломники стекаются в несколько зданий, окружающих пик горы, чтобы воздать должное святой Одили, которая основала женский монастырь в этом месте в VIII веке. Туристы едут по серпантину на вершину, чтобы там насладиться великолепным видом. В ясный день они могут увидеть город Страсбург, который находится в тридцати пяти милях на северо-восток, а также город Шварцвальд в соседней Германии.

20 января 1992 года реактивный пассажирский самолет врезался в сосновом лесу в горах рядом с Монт-Сент-Одиль. Всего семи минутах от принимающего аэропорта в Страсбурге, гладкий аэробус A320 должен был лететь на высоте в 9 тысяч футов и медленно снижаться. Вместо этого, он был на высоте около двадцати четырех сотен футов тогда, когда столкновение произошло вечером в 7:45. Лайнер не посылал ни одного сигнала о бедствии до катастрофы. Он просто потерял радиосвязь и моментально исчез с радаров. Девять пассажиров, которые выжили, сообщили в дальнейшем о том, что они не заметили ничего необычного до момента удара.

Восемдесят семь человек погибло в этой катастрофе. Темнота, температура ниже нуля, густой туман, порывистый ветер и глубокий снег препятствовали усилиям спасателей. Прошло более двух часов, прежде чем поисковая команда определила место крушения и начала оказывать помощь выжившим. К этому времени, новости о проишествии уже начали распространяться по всему миру посредством огромной сети телефонных линий, радио-связи, микроволновых передатчиков и остальной инфраструктуры, которая составляет нашу общую систему связи. Как только прояснялись детали катастрофы, радио и телевизионные выпуски, а затем и газетные статьи передавали принимающей аудитории сырой материал для того, чтобы кормить вековой, омерзительный интерес к бедствиям и трагедиям.

Следующим утром в Вашингтоне, округе Колумбия, James H.Paul, один из сотрудников подкомитета по следствиям и надзору палаты представителей США, заметил отчет о крушении, распространяемого агенством Reuters. История несла провокационный заголовок: «Последняя авария усиливает полемику вокруг аэробуса А320».

A320 известен своим происхождением от инновационных технологий, которые были заложены в авиалайнере. Построенный консорциумом французских, немецких, британских и испанских фирм, работающих вместе под маркой Airbus Industrie, это узкофюзеляжный, двухмоторный, 150-местный самолет, являющийся первым из нового поколения авиалайнеров, которым пилоты управляют полностью посредством компьютеров.

Интерес Paul'a к катастрофе A320 возник отчасти из-за того, что он был одним из авторов расследования 1990 года под названием «Ошибки в программе: проблемы правительственной компьютерной разработки программного обеспечения и его регулирование» и частично потому, что он поделился своей озабоченностью с остальным компьютерным миром сложностями преодоления отказов и ошибок, которые мешают работе практически любой компьютерной системы.

Paul активировал в своем компьютере связь с Интернетом, с лабиринтом, мировой сетью коммуникационных линий между компьютерами, которая может обмениваться сообщениями — электронными письмами — от одного компьютера к другому по всей системе. Используя адрес RISKS@CSL.SRI.COM он отправил копию статьи Reuters со следующим заголовком: «Ещё одна катастрофа А320 во Франции». Моментом позже, сообщение прибыло на компьютер SRI International, высокотехнологичный центр в Menlo Park, штат Калифорния. Там оно хранилось до тех пор, пока Peter G.Neumann, главный научный сотрудник, работающий в научной компьютерной лаборатории в SRI, нашел момент в своем загруженном графике и проверил пришедшие сообщения, которые он в дальнейшем привел к формату форума о компьютерных рисках, работающего в открытом доступе и связанного по теме с надежными системами. Neumann внес как первое сообщение в своем докладе то, что прислал Paul, и отправил отчет 22 января, через два дня после крушения A320.

Хотя повествование идет о коммерческой авиации, использование сложных компьютерных систем для эксплуатации высокопроизводительных реактивных самолетов в воздухе также важно для нескольких типов военных самолетов. Экспериментальный реактивный военный самолет X-29 имеет нестандартный дизайн с обратной геометрией крыла, из-за которого по форме кажется, что он летит назад, он аэродинамически чрезвычайно неустойчив и без посторонней помощи ни один человек не справится с его управлением. Только компьютер может вносить коррективы в полет так быстро, чтобы самолет удержался в воздухе. Уже находятся на вооружении или проходят испытания истребитель F-117A Stealth, бомбардировщик B-2 и многоцелевой истребитель F-22, которые даже не имеют механических систем в качестве резервного способа управления, отличного от компьютерного.

Механика управления самолетом и удержанием его в воздухе была намного более простой и директивной на ранних этапах истории управляемого полета. Когда Орвилл Райт уговорил братьев Райт подняться в воздух в 17 декабря 1903 года, рядом с Kitty Hawk, Северная Королина, их тело полностью было включено в действие по управлению самолетом. Лежа ничком рядом с двигателем на нижней паре крыльев, обытых тканью, с захваченными ногами за перекладину, Райт использовал свои руки чтобы поднимать или опускать передние горизонтальные рули для того, чтобы держать самолет под нужным углом. Качающиеся в деревянном коромысле, его бедра контролировали канаты, которые изменяли окончания крыльев для поддержания бокового равновесия. Эти движения бедрами также влияли на вертикальный задний руль, который направлял движение самолета.

Те же фундаментальные принципы лежат в основе управления в высокоавтоматизированных самолетах нашего времени, но связь между пилотом и последовательность действий стала намного менее директивной. Даже в случае механического управления в большом современном авиалайнере на самом деле нет прямой связи между рукой пилота и поведением самолета. В электродистанционной системе управления, когда пилот двигает ручку управления самолетом в любую сторону чтобы развернуть его вправо или влево, электронные передатчики посылают сигналы множеству компьютеров, ответственных за управление. Инструкции в форме для компьютерных программ позволяют компьютерам рассчитать какие корректировки нужно применить к рулю и закрылкам, или поверхностям крыла, называемого элероном. Компьютеры в свою очередь, посылают команды через обширную сеть электро-механических устройств, установленных на крыльях и хвосте, чтобы выполнить необходимые изменения в положениях подвижных частей. Плоскости накреняются влево или вправо. Пилот чувствует себя комфортно так, как бы он сам двигал ручку управления в простом механическом самолете, где имеет место непосредственное воздействие, но это все обман. Компьютер регулирует все приводы и создает иллюзию директивного контроля.

В аэробусе A320 компьютеры пилотирования зашли так далеко, что они могут сказать пилоту как он должен летать на самолете, например, путем ограничения как быстро или далеко он может переместить крен при управлении влево или вправо. Это происходит потому, что инженеры, которые спроектировали самолет, дали компьютерам, ответственным за контроль полета, полное право управлять самолетом и изменять действия, которые пилот может совершить например в ситуации когда они выходят за конструкционные пределы или возможности. Столкнувшись с внезапностью (ветер, резкое падение по высоте) пилот может мгновенно отреагировать, потянув по максимуму ручку управления для поднятия носа самолета в полной уверенности, что компьютеры будут гарантировать, что самолет не накренится и не потеряет скорость, что будет равносильно смерти. По крайней мере так звучит в теории.

Множество пилотов жаловалось, что такая передача полномочий компьютерам ограничивает действия человека в чрезвычайных ситуациях. Пилоты считают, что экипаж должен иметь возможность выполнять любые действия, которые по их мнению считаются необходимыми например в случае опасности врезаться в гору или столкнуться с другим самолетом — даже если в этом случае идет выход за допустимые плоскости или это похоже на попытку полета в нетрадиционной манере. По иронии судьбы, под контролем компьютера A320 летит плавно и бесшумно при нормальных обстоятельствах, и как пассажиры, так и пилоты мало понимают в том, как они летят, что само по себе представляет опасность чрезмеренной уверенности пилота или его самоуспокоения.

Доверие компьютерам в таких критичных функциях как управление полетом самолета также беспокоит некоторых специалистов в IT, опыт которых в работе с широким спектром компьютерных систем определенно показал, что ни один компьютер не работает безупречно все свое время. Bev Littlewood, профессор программной инженерии в City University Лондона (Англия) уже давно утверждает, что невозможно гарантировать дотаточно высокий уровень надежности, а использование компьютеров может быть неподходящим в таких областях, как управление самолетами, медицинским оборудованием, ядерной энергетикой, в системах аварийной связи, и в других ситуациях, в которых жизнь человека может оказаться под угрозой в результате отказа компьютера.