1/8/2010 3:46:55 AM

Вооот, а можно было бы список на части разбить и многопоточный поиск запустить

Vadim

1/8/2010 10:56:45 AM

Ну собственно это самый логичный способ, если нельзя алгоритм поменять, приходится сокращать количество данных. Алгоритм SQL Server поменять не может, он все должен делать честно, а разбить данные может. Некоторые идут дальще и делают sharding (непереводимо

Но правильный путь - поменять алгоритм или структуру данных (что на самом деле одно и тоже практически). И только потом уже всякие сомнительные методы применять.

Так что ты все правильно сделал

Vadim

1/14/2010 4:45:46 PM

На самом деле использовать Join можно было. Результат его выполнения - это не просто проверка методом Contains() в обычном листе. Он сделал бы то же самое, что и ты делаешь вручную. Единственное отличие - он создаст Dictionary вместо HashSet. Поэтому конкретно в этом случае твой вариант будет немного быстрее.

Alexey Zuev

1/15/2010 11:21:39 AM

я тоже решил попробовать.
Если взять такой пример:

List<long> items = new List<long>();
List<long> itemIds = new List<long>();
FillItems(items);
FillItems(itemIds);

Stopwatch sw = new Stopwatch();
long count;

sw.Start();
var hashedIds = new HashSet<long>(itemIds);
var hashResultItems = items.Where(x => hashedIds.Contains(x));
count = hashResultItems.Count();
sw.Stop();
Console.WriteLine("Hash: {0} ms. Count: {1}\n", sw.ElapsedMilliseconds, count);

sw.Reset();
sw.Start();
var joinResultItems = from item in items
          join itemId in itemIds.Distinct() on item equals itemId
          select item;
count = joinResultItems.Count();
sw.Stop();
Console.WriteLine("Join: {0} ms. Count: {1}\n", sw.ElapsedMilliseconds, count);

sw.Reset();
sw.Start();
var resultItems = items.Where(x => itemIds.Contains(x));
count = resultItems.Count();
sw.Stop();
Console.WriteLine("Normal: {0} ms. Count: {1}\n", sw.ElapsedMilliseconds, count);

результаты получились такие:

Hash: 22 ms. Count: 19742
Join: 47 ms. Count: 19742
Normal: 16144 ms. Count: 19742

метод FillItems был таким:
private static void FillItems(List<long> items)
{
  for (int i = 0; i < 50000; i++)
  {
    items.Add(rnd.Next(100000));
  }
}

если items будет коллекцией из reference классов, то измениться здесь вроде бы не должно ничего. так как все равно по чему foreach делать

Alexey Zuev