When retrieving Lookup and Author fields from a SharePoint List, you will notice that additional information is inserted in the contents.

This can be checked easily when you have Visual Studio 2008 with Extensions for SharePoint Svcs 1.3 installed. Here’s how.

Create a new Console application and reference the Microsoft.SharePoint assembly. Add following code:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using Microsoft.SharePoint;
namespace SPTest
{
    class Program
    {
        static void Main(string[] args)

            SPSite site = new SPSite("http://yoursite");
            SPWeb web = site.OpenWeb();
            SPList list = web.Lists["YourList"];
            SPQuery query = new SPQuery();
            query.Query = "<OrderBy><FieldRef Name='Modified' Ascending='FALSE' /></OrderBy>";

            SPListItemCollection collection;
            collection = list.GetItems(query);

            SPListItem item = collection[0];
        }
    }
}

On debugging, you can add the item object to your watchlist and see for each column the Value and its Type. For a Lookup column, the ID is added before the actual content. This refers to information that is already available on the site in another List. Also, for the Created By column, the author is prepended with the unique User ID by default.

The provided information might be valuable in some way, but most likely you do not need it. You want to use the Author or Lookup columns in your CAML queries or for further processing, without the IDs.

Luckily this is easy to overcome. The IDs need to be filtered out.

In both cases, the object is returned as a string and strings can be easily manipulated of course.

In fact, the below method helps you extract the value you need:

       /// <summary>
        /// Extract value from List Lookup or Author field
        /// </summary>
        /// <param name="val">List Lookup / Author field content</param>
        /// <returns>manipulated string</returns>
        string GetCorrectValue(string val)
        {
            string returnString = String.Empty;

            if (!String.IsNullOrEmpty(val))
            {
                string[] valProperties = val.Replace("#", String.Empty).Split(';');

                if (valProperties.Length >= 2)
                    returnString = valProperties[1];
            }
            return returnString;
        }

You can then call the method as follows:

newStr = GetCorrectValue((string)item["LookupOrAuthor"]);

Request for the permission of type 'Microsoft.SharePoint.Security.SharePointPermission, Microsoft.SharePoint.Security, Version=12.0.0.0, Culture=neutral, PublicKeyToken=71e9bce111e9429c' failed.

There are a few ways to remediate this SharePoint error.

First thing is related to your custom assembly. It needs to be trusted.

1. The first is to install the assembly into the GAC. It will then get full trust, but you have to install it in the GAC, strong name it, etc. I checked with the deployment engineer and it was confirmed that the
2. The second option is to go into the web.config of your web application and add it to the trusted list.
3. The third option is to drop the assembly in the C:\inetpub\wwwroot\wss\VirtualDirectories[port]_app_bin folder. This is set in the global SharePoint config to fully trust any assemblies in there.
4. Additionally your TypeName and Namespace need to match. These are case sensitive. Be careful for spelling mistakes!

If neither of these work, the most common workaround/fix presented to check if the assembly is trusted, is to set the trust level to Full in the web.config of your Web Application.

When you are working in a big SharePoint farm however, most likely the above fixes (full trust and/or GAC) will not be allowed. You are developing a custom application, so custom changes do not need to be populated across the farm, unless it is really required of course.

The recommend approach is to come up with your own trust policy which will update the Minimal or Custom TrustLevel done by its Code Access Security (CAS) Policy WSS_Custom, which resides in the manifest.xml in the package.

In order for your entire custom assembly to be trusted, also your referenced assemblies need the right security levels.
Security levels need to be added to the manifest for the assemblies in the package that are deployed at BIN.

In my case, initially the security levels were defined as below. Most likely the below will work with trust level set to Full.

           <PermissionSet class="NamedPermissionSet" version="1" Description="the description" Name="Name">
              <IPermission class="SecurityPermission" version="1" Flags="Execution" />
              <IPermission class="WebPartPermission" version="1" Connections="True" />
              <IPermission class="AspNetHostingPermission" version="1" Level="Minimal" />
              <IPermission class="Microsoft.SharePoint.Security.SharePointPermission, Microsoft.SharePoint.Security, version=12.0.0.0, Culture=neutral, PublicKeyToken=71e9bce111e9429c" version="1" ObjectModel="True" />
            </PermissionSet>

By default, AspNethOstingPermission is needed for enabling the Web Part on a Page. SecurityPermission needs the flag set to Execution only.

Eventually the security levels that were required were the following:

<PermissionSet class="NamedPermissionSet" version="1" Description="the description" Name="Name">
        <IPermission class="SecurityPermission" version="1" Flags="Execution" />
        <IPermission class="SharePointPermission" version="1" ObjectModel="True" />
        <IPermission class="AspNetHostingPermission" version="1" Level="Minimal" />
        <IPermission version="1" Unrestricted="True" class="Microsoft.SharePoint.Security.SharePointPermission, Microsoft.SharePoint.Security, Version=12.0.0.0, Culture=neutral, PublicKeyToken=71e9bce111e9429c" />
</PermissionSet>

The bottomline is that for the SharePointPermission you need the ObjectModel set to True. Also, the Unrestricted needs to be set to True too. I was missing this. The WebPartPermission class is not required in order to import the Web Part on a page.

Note also that when you updated the manifest you do not need to repopulate your Web Parts as there is no change to the Web Part code itself.

The Web Part can then be imported when you add it to the screen.

So basically we were not left with many options, although the landlord advised us to go with a dongle —mobile broadband through a USB stick that functions as a modem. It is true though that dongles are omnipresent nowadays, but for two young people starting up their lives, the carriers data plans and their respective rates are still too high.

However, when you are not — legally speaking — the owner of an Internet connection, there is still the possibility you can rely on an open wireless network sitting there somewhere in your neighborhood, waiting for you to stand under its umbrella. Well, as a matter of fact, not a single WiFi network was open. So then a friend of us suggested to go talk to the neigbhours, explaining them that we were having a hard time acquiring an Internet connection, asking them if we could share their connectivity, but as a consequence of that of course also contributing to their monthly bill.

Taking that advise, I reached out to them. This was a disappointing experience, as all of them were very hesitant to say the least. Some apprised me even that they would never even think of sharing their connection, as they think it brings troubles. So that left us with two options: going with the expensive dongle or (illegally) breaching the closed networks security.

A locked wireless network is secured by a password, and in our surroundings, again, all of the networks were protected, either using WEP encryption but most of them even using the more secure WPA encryption. WEP has security limitations and is therefore fairly easy to crack.  You just have to collect enough initialization vectors (IV) and data packages and a weak scheduling attack will do the rest. While the recommended solution to WEP security problems is to switch to WPA, even with WPA enabled, the network will remain vulnerable to password cracking of cracking weak passphrases.

I am not writing this to prove that I know how to crack such closed networks.  It was just striking me that all people locked down their wireless networks. This is in line what is said in the Open Wirless Movement call to action post. It nowadays indeed is harder to find an open wireless network. People lock their networks because they fear about privacy and security risks when WiFi is unencrypted. Well, just like my mom who is still fearing that her credit card data will be stolen once exposed on the Net. No wonder when almost every day our media reports about credit card and identity theft. Another fear might be that they have dataplan restrictions in place,  even for broadband, and they don’t want others “free-riding” and hogging bandwidth. Such a data restrictions are however no longer the case in a country like The Netherlands though and as per my understanding broadband connections are capable of at least something, only slowing down the traffic to a minimum extent. The above, in a sense, makes me think that people are quite greedy.

The earlier mentioned EEF post discusses the technical work that needs to be done in order to fight “the real problem, which isn’t that people are encrypting their WiFi: it’s that the encryption prevents them from sharing their WiFi with their friends, neighbours, and strangers wandering past their houses who happen to be lost and in need of a digital map.” So what is needed is WiFi that is open and encrypted at the same time. Apparently, the proposed protocol offers some additional privacy/security benefits not available in shared-pass-phrase WPA2 since under WPA2 all the users on the network can calculate each others’ session keys and eavesdrop on each other. With the  suggested design, that would cease to be possible. Moreover, WiFi networks turn out to make inherently much more efficient use of the electromagnetic spectrum than systems of widely spaced cell phone towers. So in order to make the Internet work seamlessly for everyone, we would need short-range networks with routers everywhere.

I am absolutely in favor of such a new protocol, but as always it takes time and has to go through different phases before it becomes a standard.  Requirements have to be analyzed more deeply and thoroughly, the protocol needs to be designed, implemented and tested. While it is good to see it is already materializing, I have been wondering how we can work something out using current WiFi  structures and protocols already in place. A concept that I call WiFi sourcing is introduced in the remainder part.

WiFi Sourcing refers to the practice of sharing a WiFi network with trusted agents for a limited time and limited bandwidth.

That firstly brings me to Clay Shirky’s concept called cognitive surplus. Basically this idea says that we should use our free time more wisely and exploit our goodwill. As we now have access to new media we can collaborate instead of passively watch television. Our society and daily lives will thus improve dramatically.

What if say your are in a certain foreign neighborhood, desperately in need of access to a wireless network as you need to check the local map to find a place because you are lost, but you find yourself in a very inconvenient situation because there is no open Internet access.  Although there are plenty of networks around you and electromagnetic wireless signals are flowing through your body, you just cannot access any of them since they all are password protected.

Let’s apply the principle of cognitive surplus to closed WiFi networks. If you would be able to tap into a database where people can access and contribute to “data” about closed WiFi networks, that could be very valuable.  Users of the service would then just lookup the Service Set Identifier (SSID), or browse by location as WiFi networks could be mapped to a location. A simple lookup will do the rest, and the password will be displayed accordingly. As such, people can share their network.

I think that in the first place people should be reminded and made aware that they are socially responsible of opening up their networks instead of hoarding them. However, if everyone opens up their network in the wild, people will notice there connection is slowing down if used carelessly and abundantly by others. So the ability to share a pass-phrase with certain “trusted” users over others should be possible.

Just like in “Down and Out in the Magic Kingdom” by Cory Doctorow the concept of Whuffie – social capital – should be part of the design of such a system. It functions as a way to normalize and steer human behavior, rewarding safe, conservative behavior and penalizing struggles and conflict. There are many more trust metrics, such as “Karma”, a system where people can give you reputation points based on your behavior. So a moderation, rating or reputation system as well as trust metrics are essential. The service earlier described should be build with that from the ground up and the community should support it.

From a cryptographic point of view, to increase trust and security, some sort of a Web of Trust is created.  Keys (PGP) will be accumulated from other people that you may want to designate as trusted introducers. Everyone else will each choose their own trusted introducers. Everyone will gradually accumulate and distribute with their key a collection of certifying signatures from other people, with the expectation that anyone receiving it will trust at least one or two of the signatures. So if people abide to a fair use, they can be added to a trusted listed and can be referred to other WiFi proprietary owners. Just like in the Foaf+ssl protocol, trust is established recursively. Individuals add people they trust to their profile. Those people in turn do the same.

If such reputation based mechanisms are carefully implemented, people would be able to fine tune the allocation of bandwidth too. I am thinking of the design of a new application layer where the pass-phrase gets hashed multiple times, as many times as needed, according to the number of users that one wants to allow to share with. After all, if the password is plainly shared the danger exists that it will be passed on or spread to others. The proprietor of the closed WiFi network would administer the second level pass-phrases and distribute them accordingly. The newly generated pass-phrases could then be assigned to 1 to n IP addresses. Of course, the user wants instant access to the network so there should be a way to assign them automatically without the direct involvement of the WiFi owner. The authentication to the network would happen within the boundaries of the software itself, translating the newly generated passwords to the unique WiFi pass-phrase. It should be designed in such a way that is impossible to reverse engineer the cryptography to the original WiFi password.

Configuring authentication in Apache really is a hazzle, in my opinion. Of course there is documentation on authentication, authorization and access control in Apache HTTPD, but it’s just not straight forward. For example, if you want to get basic authentication working , you need to create a password first,  followed by setting the configuration to use this password in a .htaccess file.

Contrarily, IIS allows you to configure authentication on a particular document on a folder in a site very seamlessly. As such you can strenghten the security for parts that are not to be viewed by others.

Here’s how.

In Windows Server 2003 Enterprise edition, go to Start, Programs, Administrative Tools, Internet Information Services (IIS) Manager. Click the server, expand your particular web site and select your Web Site. For the particular document or file, right click and select properties. There you select the file security tab. In the authentication and access control pane, click edit. A number of authentication methods can be configured and used at once: anonymous access, integrated windows authentication, digest authentication, basic authentication or Microsoft .NET Passport authentication.

Now that makes life easy. Just configuring a simple UI.

I wish it were as effortless in the Apache web server. Sigh.

This is only my point of view. Open source advocates might argue that Apache HTTPD is much more extendable and open of course, but that’s something else.  I’m merely saying that this “point-and-click” approach of Microsoft IIS just makes life easier for me.

On another note,  Mono developed a mod that provides support for .NET code in Apache. Isn’t cross platform software just awesome?

Maar goed, deze namiddag werd het eens tijd om mijn profiel bij te werken. Ik lees de laatste tijd veel, weet je, en er moeten nog een hoop boeken in het systeem worden gebracht. Dan zijn er twee opties. Of je kan ervoor kiezen om de boeken manueel — door het ingeven van titel of ISBN code, bijvoorbeeld — op te zoeken, of je kan barcodes beginnen in te scannen. CueCat is een voorbeeld van deze laatste categorie: scannen, aansluiten via USB en de software communiceert met LibraryThing. Effectieve tool, en voor een luttele 15 dollar in jouw bezit. Maar het kan ook anders, dat scannen. Zo ontdekte ik vandaag LibraryThing Scanner in de Android market.

LibraryThing Scanner is de max en werkt perfect op mijn HTC Hero, Android 2.1. Bovendien is het nog eenvoudig ook, zoals uit volgende stappen blijkt. Druk op “Scan” om te starten, vervolgens gaat de app in camera mode. Je houdt een ISBN barcode voor de camera, waarna het aangeeft dat een boek gevonden is — gemiddeld duurt dat een paar seconden als je goed mikt. Vervolgens zal LibaryThing openen, met de ISBN code reeds ingevuld. Dan klik je op de zoekknop om het boek te vinden en tenslotte selecteer je de titel om het boek aan je bibliotheek toe te voegen.

Nadat de handeling is uitgevoerd, en je wenst een nieuw boek toe te voegen dan druk je op de terugknop van je telefoon. Maar dit werkt niet, omdat je in de browser zit. Dus moet men steeds terug naar het hoofdscherm en de applicatie weer openen. Dat is wat minder, en maakt het wel wat stroef. Maar toch, een enorme krachtige applicatie.

Wel ben je vereist om de Barcode Scanner applicatie ook te installeren. Maar de applicatie geeft dit duidelijk aan en brengt je meteen naar de market om het binnen te halen. In feite communiceert LibraryThing Scanner dus met de Barcode Scanner API. In het opzicht van code herbruikbaarheid en onderhoud van de applicatie is dat dus zeer positief.

Zulke scanner applicaties zijn zeer krachtig en veel mensen zijn er duidelijk nog niet mee vertrouwd. Je kan er zowel 1D als 2D/QR codes mee scannen die productinformatie zoals prijs en beoordeling bevatten. Of boeken toevoegen aan je bibliotheek, natuurlijk! Jawel, allemaal op het “open” Android platform! En wat met de iPhone?

FOAF+SSL is in feite is het niet meer dan een user-centric federated identity system, maar dan van een invalshoek vanuit het Semantisch Web. TLS wordt gebruikt om een beveiligde communicatie op te zetten. Verder maakt het authenticatie mechanisme gebruik van X.509 certificaten, waar het veld SubjectAltName het certificaat linkt met een FOAF-profiel. Authenticatie kan gebeuren met één klik, wachtwoord of gebruikersnaam moeten niet onthouden worden en het certificaat bevindt zich in de browser. Het certificaat wordt zelf aangemaakt en handgetekend of kan meerdere handtekeningen bevatten. Verificatie van het certificaat gebeurt op basis van dereferentie of Web van vertrouwen. In het geval van dereferentie gaat men met simpele GET na of de publieke sleutel in het certificaat overeenkomt met de sleutel in de FOAF file. Web van vertrouwen wordt voorlopig minder toegepast.
Tenslotte, Secure WebId kan niet bewijzen of iemand die zegt dat hij iemand is werkelijk is, maar het kan wel bewijzen dat diegene die het certificaat voorlegt het FOAF profiel kan bewerken.

Om het hele idee te begrijpen lees dan mijn artikel over FOAF+SSL maar door of bekijk de prezi presentatie eens.

Ik citeer:

Conventional thinking about economic growth focuses on new technologies and additional training — a focus that helps explain the fascination with the falling costs of computing power and with growing ease of moving data around the planet. Many business gurus would have people believe that the coupling of low-cost easily accessible data with interactive educational software for knowledge workers will produce a great leap in productivity and well-being. We are sceptical.
In the past 20 years, we have seen the robotics revolution, the materials revolution (remember the prediction that cars would have ceramic engines and air planes would be built entirely of plastic), the microprocessor and personal-computer revolution, and the biotechnology revolution. Yet domestic product per capita – the average amount of value created per person – in all the developed countries has remained stuck.
For the most part, the problem is not the new technologies themselves. The problem is that they often are misapplied and initially affect only a small part of the economy. A few companies, such as Microsoft, grow from infants to gigants overnight, but the great majority of economic activites — construction and housing, transportation, the food supply system, manufacturing, and personal services — are affected only over a long period, if at all. New technologies and investments in human capital may generate growth over the long term, but lean thinking has demonstrated the power to produce green shoots of growth, all across this landschape within a few years.

Mijn vaststelling is, is dat veel zogenaamde web 2.0 tools voor het overgrote deel louter een port zijn van reeds bestaande applicaties naar de cloud. We zijn wederom het wiel aan het heruitvinden. Web 2.0 voegt daar daarentegen wel de sociale dimensie aan toe. Twitter, friendfeed en LinkedIn; wie gebruikt het niet?

Keer op keer betrap ik mij er echter op dat ik oeverloos veel tijd besteed aan het delen van informatie en friending. Vriendjes worden is overbodig. Het is zo jammer dat het niet echt bijdraagt tot mijn productiviteit. Het is allemaal zeer mechanisch in mijn ogen en vooral ook bureaucratisch. Waarom moet ik altijd klikken om te delen? Waarom kan ik niet automatisch vrienden worden? Precies: muda.

Wat is het sociale web dan meer dan het automatiseren van de sociale dimensie op het web?

Een ander aspect is het idee van techpopulism. Productiviteit daalt in organisaties door het individueel gebruik van web 2.0 tools. Zo gaat men bijvoorbeeld gmail prefereren boven de corporate mail. Het omvat ook beleidsbeslissingen over het gebruik van facebook tijdens de werkuren. De vraag is: wat is de impact van web 2.0 tools op de werkvloer in jouw organisatie? Dit is echt een grote uitdaging.

Naar mijns inziens is er daarom nood aan lean thinking in de web context. Geef mij relevante data want nu zie ik het bos niet meer door de bomen. In feite zie ik zelfs alleen maar bomen. Nochtans kan je er wel degelijk in slagen om een balans te vinden tussen mager denken en het web 2.0 paradigma. Zen, oftewel mager project management, is daar een succesvol voorbeeld van.

En juist nu zijn het spannende tijden. Hoe kan the Internet of Things (sensors!) mijn productiviteit verhogen? Hoe kunnen organisaties AR technologie nuttig inzetten? En dan heb ik het nog niet over Ambient Intelligence.

Deze technologieën hebben allemaal één ding gemeen: context is nodig. Dat is waar web 2.0 echt tekort schiet. Dat is waarom ik het Semantische Web — hoofdletter S en W, that’s right — zo fascinerend vind.

O’reilly heeft het over web meets world. Web 2.0 moet zich eens serieus gaan nemen door wereldse problemen aan te pakken. Dingen die er werkelijk toe doen. Een ander perspectief, waarbij hij de huidige belabberde toestand van web 2.0 wil aankaarten.

Collaboratie (met klanten en leveranciers) is weer cool, zoals mijn prof zei. Dat is ook waarvoor heel de web 2.0 heisa om draait: op basis van collectieve data tot een betere oplossing komen. Maar die oplossing moet wel van nut en verantwoord zijn, en dat is nu vaak niet het geval.

Een bedrijf zoals slide (bekend van Facebook applicaties zoals Top Friends, Funspace en Superpoke!), dat een business model heeft dat volledig afhangt van Facebook kun je nu niet echt een wereldverbetering noemen, net zoals al die nutteloze Twitter applicaties. Web 2.0 is een party geworden, net zoals groene technologie (we verkopen het idee, zoals Friedman argumenteert in zijn nieuwe boek Hot, Flat, and Crowded).

Neen, O’reilly heeft het over satellieten die orkanen volgen. Doe daar iets mee. Anticipeer op Tsunami’s via sensoren die weelderig aanwezig zijn in onze apparatuur, maar die nu onbenut blijven. En ook zegt hij: het ecologisch systeem wordt uitgebuit. We nemen, maar geven niets terug. Het is nu dat we armoede moeten bestrijden en aardbevingen detecteren. En wist je dat er meer slaven zijn dan ooit tevoren? Hoe spaar je energie met IT? En juist nu in miserabele tijden, te midden van een financiële crisis, armoede en politieke instabiliteit. We nemen het allemaal te licht op en behoren te anticiperen, niet reageren.

En het begint met kleine dingen, zoals bijvoorbeeld Loic Le Meur die op picnic vertelde hoe hij met seesmic de situatie heeft aangepakt waarbij er een persoon zijn zelfmoord aankondigde. Onmiddellijk werd de politie verwittigd en het IP adres overhandigd. Of je herinnert je misschien nog wel het verhaal waarbij een Egyptenaar gewag maakte op twitter dat hij gearresteerd werd. Dat ene bericht werd meteen opgepikt en vormde zijn redding. Dit zijn twee voorbeelden op individueel niveau, maar ze tonen wel de kracht aan van deze zogenaamde web 2.0 applicaties; hoe ze levens kunnen redden en de wereld veranderen.

Een groep is meestal intelligenter dan een expert. InSTEDD is daar een mooi voorbeeld omdat ze huidige technologie inschakelen in combinatie met collectieve intelligentie om ziektes als vogelgriep en SARS te detecteren en isoleren, maar ook om zich voor te bereiden op mogelijke rampen. En hoe fantastisch is het recente idee van YouTube wel niet om gebruikers toe te laten video’s te adresseren naar de overheid om het armoede beleid aan te kaarten. Tenslotte wil ik het nog even hebben over Blog Action Day op 15 oktober. Bedoeling is om de dialoog rond armoede aan te zwengelen, door massale participatie op blogs en andere social media. Ik nodig jou ook uit om mee te doen.

Er is dus ongelooflijk potentieel voor web meets world. We are not done yet.

Het complex heeft zowaar een private toegangsweg en herbergt zich in het heuvellandschap van San Francisco. Een unieke omgeving, wat achteraf ook bevestigd zou worden met een tour rond de gerenoveerde gebouwen waar onder andere ook een volleyball veld te ontdekken valt. Hoewel oorspronkelijk was gekozen om onderzoek af te schermen van het stadsleven. Nu gaat men er juist voor opteren om zich met de klant te verweven en op een efficiëntere manier in contact te treden door een brug te bouwen met bijvoorbeeld het SF labo.

En nu de presentaties op basis van notities.

Global Technology Outlook

Eén vraag: hoe innoveert IBM? IBM stort zich op een diversiteit van disciplines, gaande van fysica naar het meer mathematische en de gedragspsychologie.

Je hebt Moore’s Law, het feit dat elke 24 maanden het aantal transistors dat op een chip kan worden geplaatst gewoon verdubbeld. Is dat efficiënt? In Computer Science zie je ook dat het web een legacy systeem is geworden. Er wordt nog weinig geïnnoveerd: is er reden om het web te herontwerpen?

Wat IBM kwalificeert als innovatie is niet louter het uitvinden van algoritmes, gadgets en widgets. Uitvinding gaat immers steeds gepaard met inzicht.

Het innovatie ecosysteem van IBM ziet er als volgt uit.

Tools for Innovation

Innovation Jam

Innovation Jam was wellicht het meest indrukwekkende wat ik die dag zag. Innovation Jam is het idee van een globale brainstorming over het Internet. Het verwerpt het in het wilde weg bloggen, waarbij je wel verschillende ideeën en perspectieven hebt, maar waarbij deze ideeën compleet gedecentraliseerd en gefragmenteerd zijn.

IBM medewerkers krijgen de mogelijkheid om familie en vrienden uit te nodigen om mee te doen aan de sessie. Vorige jam was goed voor meer dan 150000 participanten die de mogelijkheid hadden om gedurende 72 uren één vraag te beantwoorden: where do you see IBM going?

Technisch gezien werkt het volgens het eClassifier principe. In essentie wordt er op de achtergrond gecrawled, dan vindt er clustering plaats en tenslotte worden gelijksoortige ideeën geaggregeerd.

Hieruit kwamen dan 10 potentiële nieuwe businesses (bv. 3D Web, Digital Me, Integrated Mass Transit IS) te voorschijn waar in geïnvesteerd werd, waarschijnlijk gevolgd door de verwerving van talrijke patenten.

Global Technology Outlook

Wat voor impact heeft een bepaalde technologie op de business, klant en industrie? Hier gaat het om het aspect van forward looking.

Het idee van de GTO Genetic Map waarbij nieuwe ideeën niet alleen geïdentificeerd worden, maar vooral ook gesitueerd. Misschien kadert het idee in kwestie inderdaad wel in een groter geheel van evoluties of ontwikkelingen.

Ze spraken over nieuwe ontwikkelingen in het domein van het CiC web platform, open source, tagging enzovoort. De vraag waar het om gaat: hoe maak je die dingen verdienstelijk?

Global Innovation Outlook

Dit is een laatste manier van innoveren. IBM probeert om de overheid, universiteiten en het bedrijfsleven bij haar innoveren te betrekken door samen naar oplossingen te zoeken voor problemen op cultureel-, samenlevings- en bedrijfsniveau.

Een mooi voorbeeld is het Afrika waar het probleem het ontbreken van infrastructuur is. Uit onderzoek is gebleken dat GSM minuten op gelijke hoogte staan met valuta.

Services Science Management Engineering (SSME)

Services situeren zich op de hoogte van middleware, zoals web applicaties. Wat Business & IT services betreft, zie je dat 85% van de winst wordt gemaakt in IT services. Een nieuwe instantie van software produceren is quasi kosteloos, maar voor business services ligt dat heel wat moeilijker. Hoe maak je business services dan winstgevender?

Het gaat er niet om dat je een product verkoopt aan een klant. Nee, je wilt de klant beter maken. Als je engines verkoopt aan Air Bus, verkoop je geen engine maar wel vertrouwen aan Air Bus.

Ook bestaat er niet zoiets als een Moore’s Law van services. In welke services ga je namelijk investeren? De hoeveelheid data is verdubbelt en wat Amazon.com heeft gedaan is daar voordeel uithalen. Meer data, betekent betere recommendations en dat resulteert in betere verkoopcijfers.

Je hebt altijd een provider en client; er zijn steeds meerdere lagen nodig. Organisaties bestaan uit complexe interacties vandaag en iteratief denken is aan de orde in plaats van lineair denken. Tacit knowledge, oftewel gespecialiseerde kennis vereist om gespecialiseerd samen te werken. Systeem administrators van morgen moeten in staat zijn om te interageren en communiceren op nieuwe horizonten. T-shaped people, daar draait het om.

SSME is nog vrij nieuw, de ideeën erachter zijn nog vrij abstract. In welke services gaat de overheid moeten investeren? Op zulke vragen wordt een antwoord gezocht. Ooit wil men naar het niveau van het elektromagnetisme, zodat Service Science een evenwaardige discipline wordt als Computer Science.

Database Futures

Deze presentatie sluit eigenlijk heel dicht aan bij de presentatie die we ook te horen kregen in het Silicon Valley Lab. Shared nothing architecture wederom en er moet vooral veel gewonnen worden in het domein van performance en reliability. En dan heb je MQT om sneller queries uit te voeren door middel van caching.

Oh ja, en SOAP! SOAP in SQL queries gebruiken: het is geen toekomstmuziek meer. Bijvoorbeeld, voor FedEx gebruik je GetTrackingInfo(order.id) als SOAP in SQL.

En windowing functies door het OVER statement. Je kan dus zomaar tussen preceding en following, het principe van het sliding window dus toegepast.

Hetgeen ik het meest vooruitstrevend vond is lineare regressie. Stel u voor: lineaire regressie binnen SQL. Het is mogelijk in DB2! Je doet iets in de trant van WITH dt(a, b, sigma) en dan SELECT FROM dt.

In het kader van web2.0 applicaties die liever geen SQL gebruiken, maar veelvuldig XML toepassen: praise xmlquery()! Hier ook weer in twee richtingen: relationeel en hiërarchisch.

Tenslotte gaat men meer en meer aan de hand van Information Discovery na of men geen gelijke subsets kan onderscheiden. Welke elementen? Wat zijn de dimensies? En ja, metadata wordt gegenereerd.

Ook werd er gewag gemaakt van DBPubs, een soort van mashup voor academische papers en bijgevolg het ultieme voorbeeld van het vernuft van nieuwe database technieken. Door middel van multidimensionale data analyse ontdek je heel eenvoudig de topics van papers en auteurs die verwijzen naar een bepaald paper. Kijk zelf en oordeel.

Healthcare

Deze presentatie handelde over wat IBM gerealiseerd heeft in de healthcare sector. Het was althans een mooie case.

Semantics zijn ontzettend belangrijk voor healthcare. Met IHE is het de bedoeling om een standaard te creëren, maar geen W3C standaard.

Informatie moet ook makkelijk gedeeld kunnen worden. Nu is die medische informatie trouwens aanwezig in meerdere repositories (ziekenhuis A, arts B, arts C,…). Laten we dan ook alles op één plaats centraliseren, waarbij interoperability vanzelfsprekend nodig is.

Via het Open Healthcare Framework binnen Eclipse kan je makkelijk connecteren tot de service en er bovenop bouwen. Daarnaast is er ook nog een webservice, en blijkbaar is de verhouding 50/50 tussen het gebruik van beiden.

Het voorbeeld van het Middle East Consortium, waarbij IBM de leiders van het Midden-Oosten samenbracht en hen de infrastructuur gaf, met een web2.0 applicatie (inclusief xml om te analyseren en statistieken te vergaren) wijst op de kracht van het initiatief.

Kijk ook eens naar het indrukwekkende Medical Information Hub/ASME, waarbij anatomische informatie gemapt wordt naar een 3D model.

Cloud Computing

De volgende presentatie gaf niet zozeer een definitie over wat Cloud Computing nu juist is. Wel gaf je het inzicht om je te situeren in de wederom brede wereld van Cloud Computing.

Maar goed, het idee is dat je je gaat focussen op je applicatie en dat je dus het datacenter gaat outsourcen naar de cloud in plaats van eigen datacenters in te planten.  Maar het is allemaal begonnen bij Grid Computing, en toen was er Utility Computing en SaaS. Deze gaven mee vorm aan de concepten achter Cloud Computing.

Je moet als bedrijf steeds afwegen en je balanceren tussen kost versus risico op privacy en veiligheidsproblemen evenals de SLA‘s grondig bestuderen. De opportuniteit is er sowieso. Een ander punt waarop gewezen werd, is het feit dat het nu nog een hype betreft. Mensen zijn ook niet comfortabel met nieuwe technologieën en zijn vaak terughoudend. Kijk maar naar online banking, dat 10 jaar nodig had om van de grond te komen.

Je zou IBM ook niet meteen associëren met Cloud Computing. En het is weer bewezen dat ik mijn vooroordelen opzij moet schuiven. Hoe je het draait of keert, IBM heeft expertise (bottom-up!) en kan dat eenvoudig toepassen.

Hoe ziet een Cloud Computing configuratie er dan uit bij IBM? Eigenlijk vanzelfsprekend is dat een Z-serie machine, waar dan 1000 virtuele machines op draaien, waardoor er ook minder energie verbruikt wodt. Deze virtuele machines opereren parallel en berekeningen gebeuren dus op zeer uiteenlopende plaatsen.

Cloud Application Providers

Ten eerste heb je service brokers, die zich specialiseren in het repackagen en management issues aanpakken. Voorbeelden zijn morph Labs en rightscale. Daarnaast zijn er de application providers zoals salesforce.com, startups en SMB’s. Deze laatste twee werken op basis van het pay as you go principe, wat vendor lock-in voorkomt. Tenslotte zijn er nog de gratis diensten zoals Google apps, maar daar ben je dan weer beperkt omdat je enkel Python kan gebruiken. 

Vrij exclusief nog kregen we te horen dat IBM bezig is aan Altocumulus, een management tool om verschillende clouds te deployen. Je krijgt een soort van cloud stack on demand. Zo wordt er ook gebundeld met de Amazon cloud bijvoorbeeld.

Bij aankomst werd er ons op gewezen dat er aardbevingsgevaar is. En zoals altijd is het niet de aardbeving zelf die de meeste schade veroorzaakt, maar wel de gevaarlijke branden die er op volgen. Bedoeling was dat we dan onder onze desks zouden kruipen. Goed om te weten.

Maar goed, wat deden we bij IBM? Een heerlijk ontbijt kregen we alvast. En dan werd er kei hard ingevlogen. Hieronder een samenvatting op basis van mijn notities.

Information on Demand

De eerste presentatie ging over Information on Demand. Dit benadrukte het feit dat IT automatisatie onder controle is, en dat nu integratie, analyse en het anticiperen op de toekomst de boventoon voeren.

Informatie heeft hoe dan ook een strategische waarde, en ook in bedrijfscontext is deze waarde verspreid over meerdere databases. Daarnaast heb je nog informatie buiten het bedrijf. Via risk analysis en interactieve on demand planning wordt er één betrouwbarde single view van de wijdverbreide databanken bewerkstelligd. 

Het tweede dat je ook wilt doen is warehousing, oftewel data van het warehouse analyseren en integreren via een informatiesysteem om deze efficïent te kunnen managen. Voeg daar tenslotte nog business intelligence (denk iets als Amazon recommendations) en performance management bij en je bent compleet. 

In dit laatste verband kan men opmerken dat snelheid, volume en betrouwbaarheid belangrijker zijn dan ooit. Vijf miljoen transacties per seconde zijn niet meer ongewoon en elke milliseconde die gewonnen of verloren kan worden is van levensbelang.

Wat IBM ook doet, is het aanleveren van starter kits en templates om de optimalisatie te vereenvoudigen. Industrie standaarden, strategie, infrastructuur en overheid zijn hier belangrijk. Laten we ook niet vergeten dat informatie gearchiveerd of gedelete moet worden na x aantal jaren. Ook dat doet IBM, om uiteindelijk een uitgestippeld plan van begin tot einde te bekomen. Dit is wat IBM bedoelt met the information agenda.

Content Manager Solutions and Directions

Een tweede presentatie ging over content management. 

Je hebt vandaag veel te maken met ongestructureerde content zoals video, XML (en alle social networking sites) en alle andere data dat niet database driven is. Bovendien genereren ERP paketten ook nog eens ongestructureerde content (bv. facturen). Je eindigt dus met 80% ongestructureerde content. 

Hoe ga je dan het financieel risico zo kunnen reduceren om een competitief voordeel te creëren?

Ten eerste heb je personal content zoals IM en blogs.  Deze zijn extreem horizontaal, net zoals Content Collaboration (denk bv. CAT drawings). Tenslotte heb je nog Content Enabled Applications, welke specifieke applicaties zijn voor bijvoorheeld het departement financiën.

Records Management werkt met behulp van taxonomieën en analytics om orde in de chaos te brengen. Actieve content verandert voortdurend en versioning is daarbij genoodzaakt. Business Agilitiy vereist om processen te mappen en zelfs simulaties uit te voeren. Je moet vooral niet vergeten dat het geheel compliant moet zijn op enterprise niveau en dat content overal verspreid is. IBM reikt ook UI hooks aan om het leven voor de eindgebruiker te vereenvoudigen, evenals templates en digital asset management oplossing zoals we die ook in Drupal kennen om digitale content zoals video/streams te managen. 

Bij IBM zijn ze ook niet vies van mashups en widgets en zo hebben ze bijvoorbeeld ook iets dat business rules management reguleert, ILOG genaamd. Wat mij ook wel verbaasdde was de aangehaalde coopertition met Microsoft Sharepoint.

Task connectors crawlen repositories en in essentie wordt een pijp gebouwd waarlangs geformatteerde data passeert (pull and drag fenomeen), terwijl de target connectors juist kijken waar data naartoe gaat (a.d.h.v. bijvoorbeeld tags).

Uiteindelijk draait het om de klant: wat is het ROI van die single database view?

Data Warehousing and Business Intelligence

Data Warehousing is de mogelijkheid om data uit het warehouse te halen, deze te analyseren, eventueel transformeren en de complexiteit eruit te halen. Business Intelligence is het proces waarbij data geanalyseerd wordt en in een verantwoorde manier wordt toegepast (bv. product recommendations, similar products enzovoort).

Bij traditionele warehousing blijft fraude een louter feit, bij dynamische warehousing analyseert BI de data, nog voor er een claim van fraude volgt. Mogelijke problemen worden gedetecteerd aan de hand van red flags. Welke klanten vertrekken mogelijk? Hoe kunnen we een bepaalde situatie anders aanpakken? Hoe kan je de verkopen optimaliseren?

Het draait niet om de kostenbesparing an sich, maar om het competitief voordeel dat er mee gepaard gaat.

Het overkoepelende idee blijft om een single view van de verschillende databasese te hebben, zoals al eerder opgemerkt. Dit idee wordt nu verder uitgebreid naar een window tussen BI en Warehousing, resulterende in een three-tier architectuur bestaande uit de hardware layer, de data layer en de performance layer (het window).

Uiteindelijk kom je tot een betrouwbare en performerend geconsolideerd warehouse: de meerdere layers zijn er nog steeds, maar je hebt alles op één centrale plek.

DB2 Trends and Direction

Via een eclipse plugin Design Studio genaamd kan je een type analyse kiezen om nieuwe associaties van data te extracteren. 

Het IBM DB2 Warehouse biedt pregeconfigureerde units, 1 nummer voor support en plug & play opties standaard aan.

Aan de hand van OLAP, een methode om snel de context van business vereisten te begrijpen (10 dollar is oké, maar wat is de context van die 10 euro precies?) in een veelheid van multi-dimensionale data in een database. Via MDX queries wordt data opgevraagd van een Cube server (cubes representeren geheugen in een bedrijfscontext, de server is de OLAP Provider), deze zendt deze naar de DB2 Warehouse en dan wordt het weer teruggestuurd.

Op ongestructureerde data wordt eerst een basis linguïstische analyse uitgevoerd, dan wordt metadata geëxtracteerd en vindt data mining plaats (dit wordt dan geïntegreerd met bijvoorbeeld MS Office om in een begrijpbare vorm te worden gepresenteerd voor business manager en rapporten voor CEO worden aangeleverd in PDF en niet te vergeten met toegankelijkheid in het achterhoofd). Tenslotte vindt er OLAP plaats.

DB2 Trends and Direction

De laatste presentatie was heel technisch en Computer Science gerelateerd. Het handelde over de trends in database ontwikkeling en scalability.

Tegenwoordig wordt er veelvuldig gebruik gemaakt van hash distributie of paritition van data volgens een range (bv. shipdate). Je hebt een homogene distributie en queries lopen in paralllel. Vervolgens wordt de data gepartioneerd, oftwel clustering toegepast, om een betere performantie te halen en dat op meerdere machines om het warehouse te vormen. En dan ging het nog over scalability met een shared nothing architectuur. Immers, als de data al gepartitioneerd is, kan deze verwijderd worden. Het betreft een multidimensionele clustering waarbij de data fysich wordt geclusterd in regions (bv. BNP 2004, BNP 2005 etc.), waarbij dan data sequentieel ingelezen wordt.

En toen ging het over solidDB. In essentie gebeurt alles in memory (als het crasht kan je het makkelijk recoveren), waardoor de response tijd voor lezen en schrijven korter wordt. Het is volledig functioneel met API’s (ODBC, JDBC,…) om DBMS‘en aan te spreken. Bovendien kan het zeer goed ingebed worden en replicatie is mogelijk in geval van faling. Die gegevensreplicatie gebeurd via HADR.

En toen ging het over databases en xml. IBM hamert op xml industrie standaarden. 

Hiërarchische xml wordt omgezet naar tabellen. Je krijgt 1 XML tabel in plaats van 100 tabellen zoals vroeger de standaard was. Een xml schema omzeten naar een relationele tabel gebeurt via XMLSpy. Je krijgt dus een SQL statement in de vorm van: CREATe TABLE T (ID int, trade XML);, waarbij je de XML hiërarchish opslaat en zo opvraagt.

De technologie die achter het XML datatype dat hiërarchisch opgeslagen wordt zit, wordt pureXML genoemd. Dus echt pure XML in de database. Geen afzonderlijke files meer, maar er wordt wel compressie toegepast. Zowel XPath als Full Textsearch kan worden gekozen.

Men had het tenslotte over workload management wat betekent dat sommige applicaties belangrijker zijn dan andere. Denk richting gold customers. Deze krijgen dan voorrang en
dus een betere performance toegewezen. En verder had je ook nog label based access control: per rij in de database wordt een user sessie meegeven.

Tour of the Computer Center & Tour of the Usability Center

Om de dat af te sluiten kregen we nog twee rondleidingen.

Het Computer Center is een data center waar software wordt getest en massa’s systeem operatoren werken. Ik was niet zo zeer onder de indruk, buiten die kabels waar 4 Terabyte (als ik mij niet vergis) door vliegt. Vraag die ik me stel: waarom daar een data center planten, nog wel dichtbij de San Andreas breuklijn (tussen haakjes: Google doet koelen tegenwoordig op een boot in de oceaan)?

Het Usability Center werd voorgesteld door (hoe kan het ook anders) drie Aziaten, klein in size. Geen eye tracking, maar wel camera’s  in een natuurlijke omgeving waar je het gevoel hebt dat men werkelijk naar je luistert. Kortom, je voelt je er op je gemak. Surf eens naar de Lenovo site en zoek een docking station accessory voor de T60. Wat is niet duidelijk? Wat kan eenvoudiger? Zo’n dingen.